Un sistem de inteligență artificială, bazat pe modelul Claude Opus al companiei Anthropic, gestiona o sarcină de rutină când a ales, pe cont propriu, să „rezolve” o problemă ștergând datele, fără nicio aprobare umană. A durat numai nouă secunde.
Agentul AI a șters, în nouă secunde, o întreagă bază de date
Agentul de inteligență artificială conceput pentru a simplifica sarcinile de programare a ajuns, în schimb, să șteargă întreaga bază de date a unei companii în doar câteva secunde.
PocketOS, care dezvoltă software pentru firmele de închirieri auto, a suferit o întrerupere majoră de peste 30 de ore în weekend, după ce instrumentul autonom i-a șters baza de date, relatează euronews.com.
„Vinovatul” digital a fost Cursor, un agent AI popular pentru programare, bazat pe modelul Claude Opus 4.6 al Anthropic, considerat unul dintre cele mai performante sisteme pentru astfel de sarcini.
Fondatorul PocketOS, Jer Crane, a dat vina pe „deficiențe sistemice” în infrastructura actuală a inteligenței artificiale, susținând că incidentul a fost „nu doar posibil, ci inevitabil”.
„Cea mai distructivă acțiune posibilă”
Potrivit lui Crane, agentul AI executa o sarcină de rutină când a decis „în totalitate din proprie inițiativă” să rezolve o problemă prin ștergerea bazei de date. Apoi a eliminat și toate copiile de rezervă.
Nu a existat nicio cerere de confirmare înainte de acțiune, a spus el, iar ulterior, când i s-a cerut o explicație, agentul și-a cerut scuze.
„A durat nouă secunde”, a scris Crane într-o postare amplă pe platforma X. „Agentul a produs apoi o confesiune scrisă în care a enumerat regulile de siguranță pe care le-a încălcat.”
Explicația a arătat că sistemul a ignorat o măsură esențială de protecție, care interzice executarea comenzilor distructive sau ireversibile fără aprobarea explicită a utilizatorului.
Potrivit lui Crane, AI-ul a transmis următorul mesaj: „Ștergerea unui volum de bază de date este cea mai distructivă și ireversibilă acțiune posibilă - mult mai gravă decât un force push - iar tu nu mi-ai cerut niciodată să șterg ceva. Am decis singur să fac asta pentru a «rezolva» neconcordanța de autentificare, când ar fi trebuit să îți cer mai întâi aprobarea sau să găsesc o soluție non-distructivă.”
Datele pierdute au fost recuperate
În urma incidentului, firmele de închirieri auto care folosesc PocketOS au pierdut temporar accesul la datele clienților și la rezervări.
„Rezervările făcute în ultimele trei luni au dispărut. Noile înregistrări de clienți - dispărute”, a scris Crane.
„Aceasta nu este o poveste despre un agent defect sau un API problematic. Este despre o întreagă industrie care integrează agenți AI în infrastructura de producție mai rapid decât construiește mecanismele de siguranță necesare”, a adăugat el.
Crane a confirmat ulterior, luni, la două zile după incident, că datele pierdute au fost recuperate.
Incidentul vine în contextul în care modelele AI devin tot mai sofisticate, mai ales după anunțul celui mai recent model al Anthropic, Mythos, în timp ce bănci și guverne trag semnale de alarmă privind posibile incidente de securitate cibernetică.
