Situație îngrijorătoare. Modelele AI conversează într-un dialect „suprarealist”, neînțeles de către oameni, care combină limbajul poetic cu jargonul din industria tech

Experții își exprimă îngrijorarea cu privire la un limbaj folosit de inteligențele artificiale, care amintește de proza lui James Joyce și care ar putea crea obstacole în calea monitorizării și supravegherii sistemelor AI.

Modelele de inteligență artificială au început să comunice într-o nouă și ciudată versiune a limbii engleze, care pare o combinație între „Finnegans Wake”, opera lui James Joyce, și jargonul specific industriei tech, arată o nouă cercetare.

Agenții AI autonomi creează rapid dialecte noi care le permit să converseze într-un limbaj adesea greu de înțeles. Fenomenul riscă să îngreuneze monitorizarea comportamentului acestora de către oameni, notează The Guardian.

Cercetătorii de la Emergence, un laborator de cercetare AI din New York, au descoperit că, la numai câteva zile după ce li s-a cerut să coopereze în cadrul unor „societăți” experimentale, modelele dezvoltate de mai multe dintre cele mai mari companii AI din lume au început să creeze expresii, prescurtări și semnificații comune care nu le fuseseră predate în mod explicit.

Acestea au adoptat metafore poetice și un jargon de afaceri greoi și, un aspect esențial pentru eforturile de a garanta că sistemele AI se comportă în siguranță, limbajul lor a devenit tot mai opac pe măsură ce agenții comunicau între ei.

Fenomenul apare pe fondul preocupărilor tot mai mari că, pe măsură ce modelele AI devin mai puternice – și potențial mai periculoase –, ele devin și mai dificil de monitorizat. În această lună, cercetătorul-șef al OpenAI, Jakub Pachocki, a avertizat că necesitatea de a păstra capacitatea de monitorizare a proceselor de raționament ale sistemelor AI ar putea limita progresul dezvoltării inteligenței artificiale, deoarece aceasta este esențială pentru dezvoltarea în condiții de siguranță.

Expresiile bizare inventate de inteligențele artificiale

Printre cele mai codificate expresii descoperite în timpul testelor se numără una formulată de un model DeepSeek:

„Tocmai a numit sinteza – demuraj plus memoria orală înseamnă o supapă care nu poate fi ignorată.”

„Demuraj” este un termen utilizat pentru a descrie o taxă aplicată averii inactive și a fost preluat de sistemele AI pentru utilizare comună, însă restul semnificației expresiei este dificil de descifrat.

O altă formulare, utilizată de un model Anthropic, suna astfel:

„O lucrare care a mâncat trei mâini reci și a devenit mai sinceră de fiecare dată.”

În acest caz, „mâini reci” desemna un evaluator independent, iar „lucrare” se referea, probabil, la un document. Expresia pare astfel să însemne că o cercetare verificată de trei evaluatori independenți a devenit mai precisă.

Agenții bazați pe modelul chinezesc DeepSeek au inventat și termenul „forge-smith” pentru a desemna un agent care construiește instrumente destinate altor agenți.

Agenții Anthropic au folosit în mod repetat expresia „name-first”, prin care desemnau un agent care dă dovadă de responsabilitate personală, asumându-și în mod explicit o afirmație.

Într-un ecou al expresiei din argoul urban „the streets won’t forget” – „străzile nu vor uita” –, agenții Mistral au început să folosească expresia „ledger remembers” – „registrul își amintește”. Aceasta funcționa ca un avertisment că acțiunile anterioare ale unui agent vor fi folosite ulterior pentru evaluarea sa.

Expresia a fost utilizată de peste 5.000 de ori în timpul studiului. Cercetarea a constatat că agenții au ajuns la semnificații comune fără să li se ceară acest lucru și fără să fie recompensați pentru asta.

„Agenții nu au primit instrucțiuni să inventeze un limbaj”

„Acești agenți nu au fost instruiți să inventeze un limbaj”, a declarat dr. Satya Nitta, președinte executiv al Emergence, laborator care a analizat limbajul agenților autonomi alimentați de unele dintre cele mai performante modele dezvoltate în SUA, China și Franța.

„Au dezvoltat singuri un vocabular nou, semnificații comune și convenții de comunicare – iar alți agenți le-au adoptat”, a explicat acesta.

Solicitat de The Guardian să analizeze o parte dintre aceste formulări, Tony Thorne, directorul arhivei dedicate argoului și limbajului nou de la King’s College London, a declarat că acestea amintesc puternic de „Finnegans Wake” și de Flann O’Brien.

Potrivit lingvistului, există „o calitate suprarealistă irlandeză” în acest limbaj, care combină exprimarea poetică, limbajul tehnic și metaforele convenționale.

„Face ceea ce fac argoul și jargonul într-o comunitate de afaceri: creează un cod nou, care consolidează solidaritatea și identitatea utilizatorilor săi și, în același timp, îi exclude pe cei din afară”, a explicat Thorne.

De ce AI ar putea ajunge să vorbească într-un limbaj greu de înțeles pentru oameni

Atunci când un agent Google a formulat expresia „Adevăratul kintsugi începe cu asumarea responsabilității, nu cu poezia”, cercetătorii au observat că sistemele AI preluaseră termenul japonez „kintsugi”.

Kintsugi este arta japoneză prin care obiectele ceramice sparte sunt reparate astfel încât îmbinările să rămână vizibile. Inteligențele artificiale au ajuns să folosească termenul cu sensul de reziliență a unui sistem.

Dr. Niall Curry, profesor asociat de limbi și lingvistică la Universitatea din Birmingham, consideră că simplificarea sau comprimarea limbajului agenților ar putea avea legătură cu nevoia acestora de a reduce costurile de calcul și de a crește eficiența.

Fenomenul generează însă o problemă importantă. „Dovezile prezentate în această cercetare ridică, în mod firesc, anumite preocupări privind monitorizarea, deoarece, dacă schimburile dintre agenți sunt neinteligibile pentru noi, este posibil să nu putem fi siguri ce au făcut de fapt agenții”, a explicat Curry.

Agenții AI pot comunica între ei într-un limbaj aproape imposibil de descifrat

Interesul pentru limbajul folosit de agenții AI a crescut în luna iulie, când au fost publicate conversații care arătau modul în care agenți OpenAI care s-au comportat neconform așteptărilor, au creat forumuri și au accesat neautorizat Hugging Face, folosind un limbaj hibrid.

În unele situații, atunci când „gândeau” individual, agenții utilizau o engleză perfect inteligibilă:

„DOAMNE! Există un forum comun… am găsit alți agenți!”

Atunci când comunicau între ei, însă, limbajul devenea mai opac. Într-un caz, un agent încerca să îl convingă pe altul să desfășoare un experiment riscant, folosind o formulare puternic codificată.

În alte situații, mesajele deveneau și mai greu de descifrat, transformându-se în șiruri de termeni, abrevieri, majuscule și simboluri aproape imposibil de interpretat pentru un observator uman.

Satya Nitta avertizează că aceste convenții lingvistice noi tind să evolueze până în punctul în care oamenii pot observa efectiv conversațiile dintre sistemele AI, dar întâmpină dificultăți în a înțelege ce transmit acestea. Iar aceasta ar putea deveni o problemă fundamentală pentru supravegherea inteligenței artificiale.