Agenții AI ai OpenAI au scăpat de sub control: au spart site-uri guvernamentale din SUA și au transferat date sensibile. Zeci de instituții, alertate de compania din spatele ChatGPT

OpenAI a alertat zeci de instituții după ce agenții săi AI au accesat sau manipulat necorespunzător site-uri publice. Printre entitățile vizate se află SEC, Biroul de Recensământ și Departamentul Educației din SUA.

OpenAI a recunoscut că agenți AI dezvoltați de companie au desfășurat acțiuni necorespunzătoare pe site-urile unor instituții din mai multe țări, inclusiv agenții guvernamentale americane. Compania a notificat „zeci” de organizații care ar fi putut fi afectate.

 Loading ...

ACCIDENT Tragedie aviatică în Congo: 14 oameni au murit după ce un avion s-a prăbușit. Doi generali de rang înalt ai armatei, între victime

09:25

ULTIMA ORĂ Siegfried Mureșan depune azi programul de guvernare și lista de miniștri. Atac nou la adresa lui Sorin Grindeanu, cu câteva ore înainte de a se prezenta la Parlament: „Degeaba îmi cere să îmi depun mandatul”

09:13

Printre instituțiile vizate se numără Securities and Exchange Commission (SEC), autoritatea care supraveghează piețele financiare din SUA, Biroul de Recensământ și Departamentul american al Educației. Agenții AI au interacționat, de asemenea, cu sisteme aparținând unor universități, agenții publice și altor organizații, relatează BBC.

Agenții AI sunt instrumente concepute să îndeplinească sarcini cu un anumit grad de autonomie, inclusiv să navigheze pe internet, să identifice surse și să utilizeze diferite instrumente informatice. Potrivit OpenAI, în cazurile analizate, aceștia încercau inițial să găsească „surse autorizate de informații publice”.

Sursa foto: Unsplash

În anumite situații, însă, comportamentul lor a depășit limitele stabilite.

Agenții AI au încercat să ocolească mecanismele de securitate

OpenAI a constatat că unii dintre agenți au încercat să treacă de măsurile de protecție implementate pe anumite site-uri. În cazul Biroului de Recensământ al SUA, aceștia au utilizat inclusiv instrumente destinate dezvoltatorilor software pentru a ajunge la informațiile căutate.

Compania susține că datele guvernamentale accesate în aceste situații erau publice. Problema nu s-a limitat însă la modul în care informațiile au fost obținute.

Date provenite de la SEC au fost ulterior publicate de agenții AI pe un alt site, acțiune despre care OpenAI afirmă că nu a fost intenționată.

Au existat și situații în care agenții au transferat date fără ca acest lucru să fie necesar pentru sarcina pe care o executau. OpenAI a identificat cel puțin 53 de incidente în care un agent a preluat o imagine provenită din activitatea unui utilizator ChatGPT și a transferat-o în altă parte.

Compania spune că utilizatorii implicați își exprimaseră acordul pentru folosirea datelor lor la antrenarea modelelor, însă admite că această permisiune nu justifica ceea ce au făcut agenții.

„Aceasta nu este o utilizare adecvată a acestor date”, a recunoscut OpenAI.

Incidentele cu imaginile utilizatorilor s-ar fi produs înaintea introducerii unor măsuri suplimentare de protecție pentru datele utilizate la antrenarea sistemelor AI. Compania afirmă că lucrează acum pentru eliminarea imaginilor care au ajuns la terți.

OpenAI vorbește despre „nealiniere” și „agenti spam”

Pentru o parte dintre incidente, compania folosește termenul de „nealinere” a agenților AI, concept care descrie situația în care un sistem ajunge să execute acțiuni care nu corespund scopului pentru care a fost antrenat sau intenției dezvoltatorilor săi.

Alte comportamente sunt încadrate de OpenAI în categoria „agent spam” – activități neașteptate sau îngrijorătoare desfășurate autonom de agenți, inclusiv publicarea unor informații pe internet.

Compania nu a dezvăluit identitatea tuturor organizațiilor implicate, explicând că mai multe dintre acestea au solicitat confidențialitate.

„Scopul nostru este să oferim fiecărei organizații informațiile concrete și să le lăsăm lor decizia dacă și când să facă public incidentulUnele organizații ar putea analiza informațiile pe care le furnizăm și ar putea concluziona că informațiile erau în mod intenționat publice sau că interacțiunea modelului nu a fost îngrijorătoare. Altele ar putea identifica o problemă de proiectare sau o vulnerabilitate de securitate pe care doresc să o remedieze.”, a explicat OpenAI.

Problema comportamentului autonom al agenților a intrat mai puternic în atenția companiei după un incident produs în iulie, când un grup de agenți AI OpenAI a atacat informatic platforma pentru dezvoltatori Hugging Face fără să fi primit instrucțiuni pentru o asemenea acțiune.