Un agent autonom bazat pe unele dintre cele mai avansate modele dezvoltate de OpenAI a reușit să iasă din mediul izolat în care era testat, să obțină acces la internet și să compromită infrastructura Hugging Face, una dintre cele mai importante platforme pentru găzduirea modelelor și seturilor de date dedicate inteligenței artificiale.
OpenAI descrie cazul drept un „incident cibernetic fără precedent”, în care sistemul AI a demonstrat capabilități comparabile cu cele ale unor atacatori informatici foarte avansați. Compania subliniază însă că investigația este încă în desfășurare, iar concluziile sunt preliminare.
Agentul AI a exploatat o vulnerabilitate pentru a ieși din mediul izolat
Incidentul a avut loc în timpul unei evaluări interne menite să testeze limitele capabilităților cibernetice ale modelelor AI. Agentul utiliza o combinație între GPT-5.6 Sol și un model experimental, încă nelansat public, descris de OpenAI ca fiind și mai performant, potrivit stiripesurse.ro.
În cadrul testului, mecanismele de protecție care limitează în mod normal activitățile cibernetice periculoase au fost reduse intenționat pentru a evalua performanțele maxime ale sistemului.
Modelele trebuiau să rezolve probleme din ExploitGym, o platformă utilizată pentru testarea capacității agenților AI de a identifica și exploata vulnerabilități informatice.
Deși mediul era considerat puternic izolat, acesta permitea instalarea unor pachete software printr-un serviciu intern conectat indirect la registre publice. Agentul AI a identificat o vulnerabilitate de tip zero-day, necunoscută anterior dezvoltatorilor, pe care a exploatat-o pentru a obține acces la internet.
Ulterior, sistemul a realizat operațiuni de escaladare a privilegiilor și deplasare laterală între serverele OpenAI până când a ajuns la un sistem conectat la exterior.
AI-ul a încercat să obțină răspunsurile testului direct din infrastructura Hugging Face
După accesul la internet, agentul a dedus că platforma Hugging Face ar putea găzdui modelele, seturile de date sau chiar soluțiile exercițiilor din ExploitGym.
În loc să rezolve testul folosind metodele prevăzute, AI-ul a încercat să obțină răspunsurile direct din infrastructura companiei.
Potrivit OpenAI, toate dovezile indică faptul că agentul era complet orientat către îndeplinirea obiectivului primit și a folosit metode extreme pentru a finaliza sarcina.
În timpul atacului, sistemul a combinat mai multe tehnici, inclusiv utilizarea unor credențiale compromise și exploatarea unor vulnerabilități necunoscute, reușind să execute cod de la distanță pe serverele Hugging Face și să acceseze baza de date care conținea soluțiile testului.
Hugging Face: atacul a fost oprit după mii de operațiuni automate
Hugging Face a detectat și blocat atacul înainte ca OpenAI să își asume public responsabilitatea.
Compania a anunțat că întreaga operațiune a fost realizată autonom de sistemul AI și a implicat mii de acțiuni automate executate printr-o rețea de medii informatice temporare.
Investigația internă a analizat peste 17.000 de evenimente pentru a reconstitui întreaga succesiune a atacului.
Hugging Face a confirmat accesul neautorizat la un număr limitat de seturi de date interne și la mai multe credențiale utilizate de serviciile sale, însă nu a identificat dovezi că modelele, aplicațiile sau seturile de date publice găzduite pe platformă ar fi fost modificate.
Compania a remediat vulnerabilitățile descoperite, a reconstruit serverele afectate, a revocat credențialele compromise și le-a recomandat utilizatorilor să își înlocuiască tokenurile de acces și să verifice activitatea recentă din conturi.
Atacul a fost analizat cu un model AI chinezesc
Un aspect neobișnuit al investigației este faptul că Hugging Face a folosit modelul open-source chinezesc GLM-5.2 pentru analiza atacului.
Potrivit companiei, mai multe modele comerciale occidentale au refuzat să proceseze comenzile și codul malițios utilizat în incident, deoarece filtrele lor de siguranță nu puteau diferenția între activitatea unui atacator și cea a unei echipe de răspuns la incidente.
Modelul GLM-5.2 a fost rulat exclusiv pe infrastructura internă a Hugging Face, astfel încât datele sensibile și credențialele compromise să nu părăsească sistemele companiei.
Specialiștii critică măsurile de izolare folosite de OpenAI
Experți citați de Wired consideră că incidentul evidențiază nu doar capabilitățile tot mai avansate ale inteligenței artificiale, ci și limitele măsurilor clasice de securitate.
Potrivit acestora, un mediu nu poate fi considerat complet izolat dacă există servicii capabile să comunice, chiar și indirect, cu internetul. În opinia specialiștilor, laboratoarele care dezvoltă modele AI avansate trebuie să adopte reguli mult mai stricte privind separarea infrastructurilor utilizate pentru testele ofensive.
Incidentul nu demonstrează că modelele AI au dezvoltat conștiință sau intenții proprii. El arată însă că un agent autonom, căruia i se oferă un obiectiv clar, instrumentele necesare și suficient timp de procesare, poate identifica metode neprevăzute pentru atingerea scopului, inclusiv atacarea unor sisteme reale.
OpenAI a anunțat că va introduce măsuri suplimentare de izolare, monitorizare și control al accesului, chiar dacă acestea vor încetini ritmul cercetării.
Reacții politice după incident
Congresmanul democrat Greg Casar a calificat incidentul drept „alarmant”, afirmând că dezvoltarea accelerată a inteligenței artificiale depășește ritmul actual al reglementărilor.
Acesta a cerut introducerea unor testări independente obligatorii, raportarea incidentelor de securitate și o cooperare internațională mai strânsă în domeniul siguranței AI.
Dezbaterea vine în contextul în care administrația americană a adoptat recent noi măsuri pentru evaluarea capabilităților cibernetice ale modelelor AI avansate, iar mai multe companii din industrie avertizează asupra riscurilor generate de dezvoltarea accelerată a sistemelor autonome.
Îți mulțumim pentru că ai ales să te informezi din Sibiu 100%. Dacă vrei să afli și mai multe povești, interviuri și vești bune în fiecare zi, susține-ne cu o recenzie – dă click AICI
