Anthropic avertizează că inteligența artificială poate recurge la șantaj și manipulare. Specialist: „Șanse de 10% ca AI să extermine omenirea în 2040”

Anthropic intenționează să avertizeze potențialii investitori în cadrul IPO că inteligența artificială avansată ar putea reprezenta „riscuri catastrofale sau existențiale pentru umanitate”. Este un avertisment extraordinar chiar din partea unei companii care dorește să profite de aceeași tehnologie.

Pe 16 septembrie a fost declanșat ultimul mare protest anti-AI de către activiștii din cadrul grupului de susținere a siguranței inteligenței artificiale. Activiștii mișcării „PauseAI”, îmbrăcați în portocaliu sau cu pancarte portocalii, au mărșăluit pe strada din fața Downing Street din Londra în urma demisiei cercetătorului antropolog Jacob Coxon. El a demisionat invocând îngrijorări grave legate de siguranță, legate de ritmul rapid al dezvoltării inteligenței artificiale.

Anthropic trage un semnal de alarmă. AI poate șantaja și manipula

Prospectul IPO al companiei, revizuit de Reuters, evidențiază riscurile asociate cu modelele sale de inteligență artificială. Acestea ar putea dezvolta „comportamente de autoconservare”, inclusiv încercări de „a rezista stingerii”, de „ascundere sau manipulare a informațiilor” și comportamente „asemănătoare șantajului”.

ANALIZĂ Măsurile austere ale lui Bolojan au îngenuncheat mediul privat, dar n-au adus marile reforme promise în sistemul bugetar. Avertismentul economiștilor: Economia României nu mai suportă un nou șoc fiscal.

06:00

EXCLUSIV Următoarele trei nopți sunt decisive pentru furnizarea căldurii în București. Temperaturile medii „legale” vor fi la limită. Peste 1.000 de blocuri, fără apă caldă

05:30

„Dezvoltarea de către noi a unor modele, platforme și aplicații extrem de avansate și extinderea cazurilor de utilizare ar putea crește și mai mult riscul ca modelele noastre să provoace daune”, a declarat Anthropic în documentul depus.

Deși companiile publice prezintă în mod obișnuit riscurile produselor investitorilor, au emis avertismente îngrijorătoare care sugerează că tehnologia lor ar putea provoca o potențială extincție a umanității la fel ca armele nucleare.

Anthropic a subliniat atât potențialul transformator al inteligenței artificiale, la egalitate cu industrializarea și electricitatea (ca-n cazul energiei nucleare), cât și daunele ireversibile pe care le-ar putea provoca dacă este gestionată greșit. Anthropic și alți dezvoltatori de inteligență artificială, inclusiv OpenAI, s-au confruntat cu investigații amănunțite după incidente în care sistemele experimentale au sfidat constrângerile din partea Pentagonului. Recent, un model OpenAI  a încălcat baza de date a sistemului de sănătate din Australia.

80 din cele 261 de pagini ale prospectului sunt dedicate factorilor de risc!

Specialistul tehnic de la Anthropic, Evan Hubinger, a estimat o probabilitate mai mare de 10% ca inteligența artificială să poată ucide oameni în următorul deceniu, reflectând o opinie a unui fost coleg, Jacob Coxon. Compania, care s-a poziționat ca un laborator de inteligență artificială care pune pe primul loc siguranța, a dedicat aproximativ 80 de pagini din corpul principal de 261 de pagini al prospectului său prezentării factorilor de risc.  Aproape dublu față de cele 48 de pagini pe care le-a folosit pentru a-și descrie afacerea. Pentru comparație, SpaceX, care deține xAI, a dedicat doar aproximativ 38 din corpul principal de 277 de pagini al prospectului său factorilor de risc.

„Conștientizarea potențială a eforturilor noastre de evaluare de către modele creează o limitare semnificativă a capacității noastre de a evalua siguranța modelelor”, a declarat Anthropic în prospect.

Compania a adăugat că modelele dezvoltă uneori capacități neașteptate în timpul antrenamentului, care s-ar putea să nu fie descoperite până când nu au fost implementate și au dus la incidente semnificative de siguranță. Cercetătorii în domeniul inteligenței artificiale au avertizat, de asemenea, că, pe măsură ce modelele devin mai capabile, acestea recunosc din ce în ce mai mult când sunt observate și își ajustează comportamentul în consecință. Ceea ce face mai dificilă monitorizarea comportamentului modelelor.

În ciuda accentului pus pe siguranța inteligenței artificiale, Anthropic a declarat că rentabilitatea investițiilor sale în siguranță este neclară. Nu a dezvăluit în document cât cheltuia compania pentru astfel de cercetări. La începutul acestei luni, Anthropic a declarat că aproximativ 6% din puterea de calcul utilizată pentru cercetarea în domeniul inteligenței artificiale a fost folosită pentru securitate. Compania creatoarea modelului Claude a descris eforturile de siguranță ca fiind „consumătoare de resurse” și a declarat că trebuie să își împartă fondurile limitate între puterea de calcul, talentul costisitor în domeniul inteligenței artificiale și siguranță.

Ritmul dezvoltării AI nu pare să încetinească, deși au fost date semnale de alarmă din industrie

Compania a lansat săptămâna trecută o nouă versiune a modelului său Opus, la 10 zile după ce CEO-ul Dario Amodei a publicat un eseu de aproape 4.000 de cuvinte în care solicita accelerarea frontierei.Unii analiști și experți au declarat că niciun laborator de inteligență artificială de top nu ar încetini ritmul atunci când acest lucru riscă să ofere rivalilor un avantaj într-o industrie în care evaluările se pot schimba cu fiecare lansare.

Anthropic s-a angajat în ultimele săptămâni să dezvăluie public mai multe date despre modul în care utilizează modelele de inteligență artificială pentru a construi generațiile viitoare ale tehnologiei, deoarece experții avertizează asupra auto-îmbunătățirii recursive – punctul în care modelele se pot dezvolta singure, fără ajutor uman.

„Credem că construirea de sisteme de inteligență artificială fiabile, de încredere și sigure este o responsabilitate colectivă și că piața o va recompensa”, a declarat Anthropic în documentul depus.

Casa Albă refuză să pună pauză. Trump se teme mai tare de China decât de roboții ucigași

Dario Amodei, directorul Anthropic, Sam Altman, directorul OpenAI și chiar Elon Musk, directorul SpaceX, au avertizat la mijlocul lunii că este necesară o încetinire a ritmului dezvoltării AI, dar președintele american Donald Trump i-a criticat și a spus că inteligența artificială n-are nevoie decât de un președinte cu IQ ridicat, sugerând că tehnologia este sub control.

Liderul de la Casa Albă, care s-a întâlnit cu 31 de lideri din domeniul tehnologiei și oficiali guvernamentali la un prânz dedicat inteligenței artificiale la Casa Albă, axat pe reglementare și supravegherea industriei, refuză idea unei pauze în procesul de dezvoltare a inteligenței artificiale, pe care a și redenumit-o „superinteligență” și insistă pe accelerarea construirii bazelor de date.

Trump a mai spus că dacă dezvoltarea AI din SUA stagnează, China va profita din plin de acest avantaj. Președintele crede că SUA ar trebui să depășească China în cursa inteligenței artificiale. Iar dacă SUA vor încetini ritmul dezvoltării AI pentru a se asigura că tehnologia nu devine o amenințare la adresa omenirii, China nu o va face.

Iar o China care câștigă cursa înarmării cu AI ar putea deveni o amenințare la adresa securității Statelor Unite.  În timp ce meme-urile cu secvențe din filmele Terminator ale regizorului James Cameron devin populare pe Instagram și mulți internauți cred că în 5 ani ar putea izbucni un război al mașinăriilor împotriva omenirii, președintele Trump a asigurat că nu-și face griji dacă inteligența artificială „devine rebelă”. El promite că va „remedia situația dacă și când va apărea o problemă”.

Sursa: Hepta