Anthropic avertizează că inteligența artificială poate recurge la „șantaj” și „manipulare”

Anthropic intenționează să avertizeze potențialii investitori în cadrul IPO că inteligența artificială avansată ar putea reprezenta „riscuri catastrofale sau existențiale pentru umanitate”.

Este un avertisment extraordinar din partea unei companii care dorește să profite de aceeași tehnologie. Pe 16 septembrie a fost declanșat ultimul mare protest anti-AI de către activiștii din cadrul grupului de susținere a siguranței inteligenței artificiale. Mișcarea PauseAI UK a mărșăluit pe strada din fața Downing Street din Londra în urma demisiei cercetătorului antropolog Jacob Coxon. El a demisionat invocând îngrijorări grave legate de siguranță, legate de ritmul rapid al dezvoltării inteligenței artificiale.

Prospectul IPO al companiei, revizuit de Reuters, evidențiază riscurile asociate cu modelele sale de inteligență artificială, despre care se spune că ar putea prezenta „comportamente de autoconservare”, inclusiv încercări de „a rezista închiderii”, de „ascundere sau manipulare a informațiilor” și comportamente „asemănătoare șantajului”.

LIVE Continuă audierile miniștrilor propuși în Guvernul Mureșan. Aviz favorabil și pentru Oana Țoiu, după Mircea Abrudean și Dragoș Pîslaru. Oana Gheorghiu și Raluca Turcan, aviz negativ. Este audiată Andrea Chiș, propusă la Justiție

15:29

REACȚIE Siegfried Mureșan sare în apărarea Oanei Gheorghiu după avizul negativ pentru funcția de ministru al Sănătății și critică votul PSD

15:20

„Dezvoltarea de către noi a unor modele, platforme și aplicații extrem de avansate și extinderea cazurilor de utilizare ar putea crește și mai mult riscul ca modelele noastre să provoace daune”, a declarat Anthropic în documentul depus.

Deși companiile publice prezintă în mod obișnuit riscurile produselor investitorilor, puține, dacă nu chiar niciuna, au emis avertismente care sugerează că tehnologia lor ar putea provoca o potențială extincție a umanității.

Anthropic a subliniat atât potențialul transformator al inteligenței artificiale, la egalitate cu industrializarea și electricitatea, cât și daunele ireversibile pe care le-ar putea provoca dacă este gestionată greșit.

Anthropic și alți dezvoltatori de inteligență artificială, inclusiv OpenAI, s-au confruntat cu investigații amănunțite după incidente în care sistemele experimentale au sfidat constrângerile, inclusiv un raport despre un model OpenAI care a încălcat baza de date a sistemului de sănătate din Australia.

Cercetătorul în siguranță de la Anthropic, Evan Hubinger, a estimat o probabilitate mai mare de 10% ca inteligența artificială să poată ucide oameni în următorul deceniu, reflectând o opinie a unui fost coleg, Jacob Coxon.

Compania, care s-a poziționat ca un laborator de inteligență artificială care pune pe primul loc siguranța, a dedicat aproximativ 80 de pagini din corpul principal de 261 de pagini al prospectului său prezentării factorilor de risc, aproape dublu față de cele 48 de pagini pe care le-a folosit pentru a-și descrie afacerea.

Pentru comparație, SpaceX, care deține xAI, a dedicat doar aproximativ 38 din corpul principal de 277 de pagini al prospectului său factorilor de risc.„Conștientizarea potențială a eforturilor noastre de evaluare de către modele creează o limitare semnificativă a capacității noastre de a evalua siguranța modelelor”, a declarat Anthropic în prospect, adăugând că modelele dezvoltă uneori capacități neașteptate în timpul antrenamentului, care s-ar putea să nu fie descoperite până când nu au fost implementate și au dus la incidente semnificative de siguranță.

Cercetătorii în domeniul inteligenței artificiale au avertizat, de asemenea, că, pe măsură ce modelele devin mai capabile, acestea recunosc din ce în ce mai mult când sunt observate și își ajustează comportamentul în consecință, ceea ce face mai dificilă monitorizarea comportamentului modelelor.Anthropic a refuzat să comenteze ca răspuns la o solicitare de comentarii de luni.

În ciuda accentului pus pe siguranța inteligenței artificiale, Anthropic a declarat că rentabilitatea investițiilor sale în siguranță este neclare.Nu a dezvăluit în document cât cheltuia compania pentru astfel de cercetări.

La începutul acestei luni, Anthropic a declarat că aproximativ 6% din puterea de calcul utilizată pentru cercetarea în domeniul inteligenței artificiale a fost folosită pentru activități de siguranță într-o săptămână eșantion din iulie.Compania, creatoarea modelelor AI Claude, a descris eforturile de siguranță ca fiind „consumătoare de resurse” și a declarat că trebuie să își împartă fondurile limitate între puterea de calcul, talentul costisitor în domeniul inteligenței artificiale și siguranță.

Anthropic a declarat că utilizarea de către clienți și, prin urmare, veniturile sunt determinate de noile modele și că o „cadență continuă și suprapusă” a lansărilor este „inerentă menținerii la frontiera dezvoltării AI”.

Compania a lansat săptămâna trecută o nouă versiune a modelului său Opus, la 10 zile după ce CEO-ul Dario Amodei a publicat un eseu de aproape 4.000 de cuvinte în care solicita accelerarea frontierei.Unii analiști și experți au declarat că niciun laborator de inteligență artificială de top nu ar încetini ritmul atunci când acest lucru riscă să ofere rivalilor un avantaj într-o industrie în care evaluările se pot schimba cu fiecare lansare.

Anthropic s-a angajat în ultimele săptămâni să dezvăluie public mai multe date despre modul în care utilizează modelele de inteligență artificială pentru a construi generațiile viitoare ale tehnologiei, deoarece experții avertizează asupra auto-îmbunătățirii recursive – punctul în care modelele se pot dezvolta singure, fără ajutor uman.

„Credem că construirea de sisteme de inteligență artificială fiabile, de încredere și sigure este o responsabilitate colectivă și că piața o va recompensa”, a declarat Anthropic în documentul depus.

Sursa: Hepta