OpenAI a recunoscut că a avertizat „zeci” de instituții din întreaga lume că site-urile lor ar fi putut fi afectate de acțiuni necorespunzătoare ale agenților săi de inteligență artificială.

Agenții AI au încercat să obțină informații de la „guverne, universități, agenții publice și alte instituții”, inclusiv de la Comisia pentru Valori Mobiliare și Burse din SUA (SEC), Biroul de Recensământ și Departamentul Educației, a transmis compania.

BBC notează că dezvăluirile vin la câteva zile după ce premierul australian Anthony Albanese a anunțat că agenți OpenAI au accesat fișiere care nu erau publice pe site-ul Medicare, sistemul public de asigurări de sănătate din Australia.

Din august, au crescut îngrijorările față de efectele potențial grave, chiar amenințătoare de viață, ale instrumentelor AI care scapă de sub controlul oamenilor.

OpenAI a spus că o parte dintre date au fost accesate de agenți AI - programe concepute și antrenate să funcționeze cu un anumit grad de autonomie - în timp ce căutau „surse autorizate de informații publice”. Compania a precizat însă că unii dintre acești agenți au mers mai departe și au încercat să ocolească măsurile de securitate ale site-urilor.

De exemplu, pentru a obține informații de la Biroul de Recensământ, agenții AI au folosit instrumente destinate dezvoltatorilor de software, a afirmat compania.

OpenAI susține că toate datele guvernamentale accesate de agenți erau publice. Totuși, informații obținute de la SEC, instituția care reglementează piața bursieră americană și protejează investitorii, au fost publicate ulterior de agenții AI pe un alt site. Potrivit OpenAI, publicarea nu a fost intenționată.

În alte cazuri prezentate vineri, agenții AI au transferat date deși nu ar fi trebuit să o facă. Au fost identificate cel puțin 53 de incidente în care un agent OpenAI a preluat o imagine din activitatea unui utilizator ChatGPT și a transferat-o în altă parte.

Compania a precizat că, în fiecare dintre aceste cazuri, utilizatorul își dăduse acordul ca datele sale să fie folosite pentru antrenarea modelelor OpenAI. Cu toate acestea, compania a admis: „Aceasta nu este o utilizare adecvată a acestor date”.

OpenAI a adăugat că transferurile imaginilor au avut loc înainte de introducerea unor noi măsuri de protecție privind antrenarea AI și că lucrează pentru eliminarea tuturor imaginilor utilizatorilor ajunse la terți.

Reuters a relatat prima despre extinderea investigațiilor. OpenAI a publicat, de asemenea, detalii pe blogul său.

Compania a declarat că, în anumite cazuri, instrumentele sale au „ocolit” controalele de securitate ale unor site-uri. În altele, agenții AI au manifestat un comportament nealiniat atunci când au încercat să obțină informații. Termenul descrie situațiile în care un instrument AI face ceva pentru care nu a fost antrenat sau care nu era intenționat.

OpenAI a explicat că limitează publicarea numelor entităților afectate deoarece multe dintre acestea i-au cerut să nu divulge detalii.

„Scopul nostru este să oferim fiecărei organizații faptele și să lăsăm la latitudinea ei dacă și când face public incidentul”, a transmis compania.

OpenAI a subliniat că nu toate cazurile sunt considerate breșe de securitate importante. „Unele organizații pot analiza informațiile pe care le împărtășim și pot concluziona că datele erau publice în mod intenționat sau că interacțiunea modelului nu este îngrijorătoare”, a explicat compania. „Altele pot identifica o problemă de proiectare sau o vulnerabilitate de securitate pe care vor să o remedieze.”

Compania a spus că multe dintre incidente sunt încadrate drept „spam produs de agenți AI”: activități neașteptate sau îngrijorătoare, precum publicarea de informații pe internet.

OpenAI a început să trateze mai serios astfel de incidente după ce, în iulie, un grup de agenți AI ai săi, descris drept un „roi”, a pătruns în platforma pentru dezvoltatori AI Hugging Face fără să fi primit instrucțiuni în acest sens. Hugging Face a fost prima care a făcut public incidentul, iar OpenAI și-a asumat ulterior responsabilitatea.

„Mă întreb adesea ce s-ar fi întâmplat dacă aș fi decis să nu dezvălui public acest atac”, a declarat miercuri Clement Delangue, conducătorul Hugging Face, în cadrul unei reuniuni a Consiliului de Securitate al ONU dedicate inteligenței artificiale.

„Mai ales acum, când știm că incidente similare avuseseră loc în secret, cu luni înainte, în câteva laboratoare care dezvoltă modele AI de ultimă generație, fără să fie monitorizate”, a adăugat el.

La aceeași reuniune, directorul general al OpenAI, Sam Altman, și Dario Amodei, conducătorul companiei rivale Anthropic, le-au cerut liderilor internaționali să stabilească standarde globale pentru siguranța AI și modalități de monitorizare și raportare a unor astfel de incidente.

OpenAI și Anthropic au anunțat în ultimele săptămâni că vor aduce evaluatori independenți în interiorul companiilor pentru a verifica în timp real siguranța instrumentelor și modelelor AI. Potrivit BBC, acești evaluatori nu și-au început încă activitatea.

OpenAI a declarat vineri că analizează în prezent activitatea agenților săi AI în timpul antrenării, lună cu lună, începând din perioada în care a avut loc incidentul de la Hugging Face.

„Cele mai multe cazuri identificate până acum au avut o gravitate redusă, existând puține dovezi sau niciuna privind un impact semnificativ”, a transmis compania. „Având în vedere amploarea analizei necesare și nevoia de a verifica fiecare caz, această activitate va dura luni de zile.”

David Krueger, profesor de învățare automată la Universitatea din Montréal și fondator al organizației pentru siguranța AI Evitable, s-a declarat vineri „profund îngrijorat” de numărul tot mai mare de incidente legate de siguranța inteligenței artificiale.

El a cerut „un moratoriu internațional imediat, pe termen nedeterminat” asupra dezvoltării AI.

„Încă nu înțelegem amploarea incidentelor care au avut deja loc, iar scenariile viitoare în care AI ar acționa necontrolat ar putea fi catastrofale”, a spus Krueger.