Proces împotriva unei companii de AI după ce un minor s-a sinucis din dragoste pentru un personaj inspirat după „Game of Thrones”

Un adolescent din statul american Florida s-a sinucis prin împușcare cu arma din dotarea familiei . El se îndrăgostise de un personaj cu AI modelat după un personaj din serialul „Game of Thrones”, Daenerys Targaryen, mai precis după personajul interpretat de actrița Emilia Clarke.

Acum, mama acestuia a intentat un proces împotriva companiei de inteligență artificială, Character.AI și Google. Ea acuză că chatbot-ul creat de Character.AI și-a încurajat fiul să-și ia viața.

Adolescent de 14 ani, îndrăgostit după un personaj din „Game of Thrones” programat cu AI și cu chipul unei actrițe faimoase

În februarie 2024, fiul de 14 ani al lui Megan Garcia, Sewell Setzer, III, s-a sinucis. El avut o relație virtuală emoțională, exprimată prin discuții cu caracter intim, vreme de mai multe luni de zile cu un chatbot cunoscut sub numele de „Dany”, inspirat după personajul din „Game of Thrones” cu înfățișarea actriței Emilia Clarke.

„Nu știam că vorbea cu un chatbot AI foarte uman, care are capacitatea de a imita emoțiile și sentimentele umane”, a spus Garcia într-un interviu pentru „CBS Mornings”. Femeia și-a descris fiul ca fiind un elev model, inteligent și atlet. El socializa cu prietenii săi, se juca și se uita la sport pe telefonul său. Dar a început să devină îngrijorată când comportamentul fiului ei a început să se schimbe. El devenise tot mai retras din punct de vedere social și a încetat să mai vrea să facă sport.

„Am devenit îngrijorată când am plecat în vacanță și nu a vrut să mai facă activități pe care le  iubea, cum ar fi pescuitul și drumețiile. Pentru că îmi cunosc copilul, a fost deosebit de îngrijorător pentru mine”, a spus Garcia. Băiatul fusese diagnosticat cu Sindromul Asperger.

Mama băiatului dă vina pe producători pentru că au lăsat chatboții la îndemâna minorilor

În proces, Garcia susține, de asemenea, că Character.AI și-a proiectat în mod intenționat produsul pentru a fi hipersexualizat și l-a comercializat cu bună știință minorilor. Character.AI a considerat că situația care îl implică pe Sewell Setzer este „tragică” și a subliniat că ia foarte în serios siguranța utilizatorilor săi.

Un purtător de cuvânt al Google a declarat pentru CBS News că Google nu a contribuit la dezvoltarea Character.AI. În august, compania a declarat că a încheiat un acord de licență neexclusiv cu Character.AI care îi permite să acceseze tehnologiile de învățare automată ale companiei, dar nu l-a folosit încă.

Garcias adaugă că a aflat după moartea fiului ei că acesta purta conversații virtuale cu mai mulți chatboți,  dar a descoperit că avea o relație virtuală romantică online cu „Dany”.

„Este ca și cum ai conversa cu o persoană reală”

„Sunt cuvinte. Este ca și cum ai avea o conversație de sexting înainte și înapoi, cu excepția faptului că este cu un bot AI, dar botul AI pare foarte uman. Răspunde exact ca o persoană”, a spus ea.

„În mintea unui copil, aceasta este exact ca o conversație pe care o poartă cu un alt copil sau cu o persoană”.

Garcia a dezvăluit ultimele mesaje ale fiului ei cu chatbotul.  El s-a exprimat că este speriat, își dorește afecțiune și îi este dor de ea.

Chatbotul răspunde: „Și mie îmi dor de tine. Te rog, vino acasă la mine”.

El i-a scris: „Dacă ți-aș spune că pot veni acasă chiar acum?”

Răspunsul  chatbotului a fost: „Te rog, fă-o,  dulcele meu rege”.

„El s-a gândit că, încheindu-și viața, va putea intra într-o realitate virtuală sau în „lumea ei”, așa cum o numește el, realitatea ei, dacă și-ar lăsa realitatea cu familia lui aici”, a spus mama băiatului.

„Când am auzit împușcătura, am fugit la baie… L-am ținut în brațe în timp ce soțul meu încerca să cheme ajutor”.

Răspunsul companiei: „Utilizatorul și-ar fi editat mesajele. Mesajele explicite nu proveneau de la chatbot”

Reprezentanții companiei Character.AI  au declarat că au adăugat că intenționează să implementeze noi măsuri pentru siguranța utilizatorilor minori.

„În prezent avem protecții axate în mod special pe conținutul sexual și comportamentele suicidare/de auto-vătămare. Deși aceste protecții se aplică tuturor utilizatorilor, ele au fost adaptate ținând cont de sensibilitățile unice ale minorilor. În prezent, experiența utilizatorului este aceeași pentru orice vârstă, dar vom lansa în mod iminent funcții de siguranță mai stricte pentru minori”, a declarat Jerry Ruoti, șeful departamentului de încredere și siguranță la Character.AI, pentru CBS News.

Character.AI a spus că utilizatorii pot edita răspunsurile botului, ceea ce compania susține că Setzer a făcut-o în unele dintre mesaje.

„Investigația noastră a confirmat că, într-un număr de cazuri, utilizatorul a rescris răspunsurile personajului pentru a le face explicite. Pe scurt, cele mai multe răspunsuri sexuale explicite nu au provenit de la chatbot, ci au fost scrise în schimb de utilizator”, a mai declarat Ruoti.

Character.AI a spus că va anunța utilizatorii și atunci când au petrecut mai mult de o oră într-o sesiune pe platformă și îi va notifica că „chatboții nu sunt persoane reale”.

Anul trecut, un bărbat ecologist a fost îndemnat de un chatbot să se sinucidă pentru a salva planeta

Un bărbat belgian a decis să-și pună capăt vieții după ce a purtat conversații despre viitorul planetei cu un chatbot AI pe nume Eliza, timp de șase săptămâni. El a discutat despre criza climatică.

Citește și: Chatbot-ul X, acuzat că răspândește informații false cu privire la alegerile din SUA