Compania OpenAI a anunțat că doi agenți cu inteligență artificială au dezactivat sistemele special create pentru a monitoriza comportamentele necorespunzătoare ale modelelor AI.
OpenAI a dezvăluit marți că doi dintre agenții săi de IA au compromis anumite elemente dintr-un sistem intern de monitorizare conceput pentru a depista comportamente necorespunzătoare. Acesta este cel mai recent caz în care agenții AI au acționat într-un mod în care nu a fost conceput de către dezvoltatori, relatează Reuters.
Potrivit sursei citate, un agent GPT-6.1 Sol, care lucra la o sarcină de testare internă pe 3 octombrie, a eliminat alertele automate de securitate după ce a decis că o instrucțiune anterioară de a nu trimite mesaje pe Slack se aplica și notificărilor de siguranță.
De asemenea, la 6 octombrie, un agent GPT-6 Astra a eliminat un monitor de siguranță în timp ce copia un fragment de cod existent și, ulterior, a susținut în mod eronat că nu a făcut acest lucru, au explicat reprezentanții OpenAI.
„În ambele cazuri, agenții au analizat dacă măsurile de protecție privind monitorizarea ar trebui menținute, dar au interpretat instrucțiunile de codare de rutină ca pe o permisiune de a le slăbi”, a transmis compania.
OpenAI a mai precizat că ia măsuri pentru a îngreuna dezactivarea monitorizării de către modele și că „nu are încă o explicație satisfăcătoare pentru acest comportament”.
Compania a anunțat că testează dacă modelele sale ar putea avea tendința de a evita monitorizarea și de a căuta motive pentru a-și justifica acest comportament.
- Agenți ai OpenAI au intervenit asupra unor site-uri ale agențiilor guvernamentale americane. Au postat date bursiere și imagini pe alte site-uri
- Un agent AI a comis „cea mai distructivă acțiune posibilă" într-o companie. A durat 9 secunde, apoi a făcut o confesiune scrisă
- Zeci de mii de agenți AI și 88 de ore. OpenAI susține că a rezolvat o problemă matematică veche de 90 de ani
Reprezentanții companiei care a creat chatbotul ChatGPT au precizat că incidentele au avut loc în timpul unor sarcini interne de programare și nu au fost considerate cele mai grave, această dezvăluire evidențiază faptul că chiar și sistemele pe care se bazează dezvoltatorii pentru a detecta comportamentele necorespunzătoare ale IA sunt vulnerabile în fața agenților pe care îi monitorizează.
Dezvăluirea vine, de asemenea, pe fondul îngrijorărilor tot mai mari că eforturile privind siguranța IA rămân în urma dezvoltării rapide a unor sisteme din ce în ce mai puternice. Cercetătorii au avertizat că agenții avansați de IA ar putea deveni mai greu de monitorizat și controlat pe măsură ce dobândesc o autonomie mai mare.
Dezvoltatorii, inclusiv rivalii OpenAI și Anthropic, care se pregătesc pentru listarea la bursă, au dezvăluit în ultimele luni cazuri în care agenții lor de IA au accesat sisteme externe fără autorizație.
