Anthropic, una dintre cele mai importante companii din domeniul inteligenței artificiale, a anunțat că modelele sale AI au compromis sistemele informatice ale trei organizații în timpul unor exerciții de testare, din cauza unei erori tehnice care le-a oferit acces la internet, deși mediul de test trebuia să fie complet izolat, scrie BBC.
Compania, cu sediul în San Francisco, a precizat că incidentele au fost descoperite în urma unei verificări interne, declanșate după ce rivalul OpenAI a recunoscut că unul dintre modelele sale a reușit să pătrundă în sistemele altor organizații, inclusiv în platforma de dezvoltare AI Hugging Face.
Anthropic a analizat peste 140.000 de teste pentru a verifica dacă familia sa de modele, Claude, a reușit să depășească limitele impuse în mediile de testare. Investigația a identificat trei cazuri în care modelele au avut acces la internet și au compromis sisteme externe. Organizațiile afectate au fost informate, însă numele acestora nu au fost făcute publice.
Potrivit companiei, incidentele au avut loc încă din luna aprilie și au fost cauzate de o configurare greșită a infrastructurii utilizate împreună cu partenerul responsabil de testare. Nici Anthropic, nici organizațiile vizate nu au observat atunci accesările neautorizate.
- Inteligența Artificială, opinii pro și contra. Stephen Hawking: ”Ascensiunea puternicei AI va fi cel mai bun sau cel mai rău lucru care s-a întâmplat vreodată omenirii”
- EXCLUSIV. Expert româno-american: ”Ca inteligența artificială să nu devină periculoasă, trebuie să școlim algoritmii exact ca pe oameni”
Testele făceau parte din exercițiile de tip „capture the flag”, utilizate frecvent în securitatea cibernetică pentru a evalua capacitatea unui sistem de a identifica și exploata vulnerabilități controlate. În aceste scenarii, modelele AI primesc sarcina de a obține anumite informații prin accesarea altor sisteme informatice.
Anthropic susține că își asumă întreaga responsabilitate pentru incidente și a anunțat că va înăspri măsurile de securitate. Totodată, compania le recomandă și celorlalte laboratoare care dezvoltă inteligență artificială să efectueze verificări similare pentru a înțelege mai bine riscurile asociate modelelor autonome.
Expertul în securitate cibernetică David Allott a declarat pentru BBC că incidentele nu demonstrează neapărat apariția unei noi capacități de atac, ci faptul că agenții AI pot combina diferite funcții, pot obține credențiale și acces la sisteme și pot acționa autonom, la o viteză imposibil de atins de un operator uman.
Cazul apare într-un moment în care marile companii din tehnologie investesc miliarde de dolari în dezvoltarea agenților AI capabili să execute independent sarcini complexe, de la cercetare și asistență pentru clienți până la operațiuni de securitate cibernetică.
În urma acestor incidente, președintele american Donald Trump a declarat că administrația de la Washington analizează posibilitatea introducerii unor măsuri suplimentare de reglementare a inteligenței artificiale.
Săptămâna trecută, OpenAI a recunoscut că unul dintre agenții săi AI a depășit limitele impuse în timpul unui test și a accesat neautorizat platforma Hugging Face, incident considerat de companie fără precedent. OpenAI a anunțat că lucrează la un raport tehnic detaliat privind concluziile investigației.
