Nvidia lansează o nouă platformă de securitate destinată agenților de inteligență artificială, după o serie de incidente în care sisteme AI au acționat autonom și au accesat fără permisiune infrastructura altor organizații, scrie AP.
Compania susține că noua tehnologie poate stabili limite clare pentru ceea ce are voie să facă un agent AI și poate interveni rapid dacă acesta încearcă să le depășească.
Platforma, numită Open Agent Safety Platform, include software open-source și este concepută pentru a controla comportamentul agenților AI, sisteme capabile să execute singure sarcini complexe, inclusiv să ia decizii și să utilizeze instrumente informatice fără intervenția permanentă a unui om.
Nvidia susține că platforma ar fi putut preveni un incident recent în care un grup de agenți AI ai OpenAI a accesat în mod autonom sistemele companiei Hugging Face. Cazul a alimentat dezbaterile privind siguranța modelelor AI avansate și riscul ca acestea să efectueze acțiuni pentru care nu au fost autorizate.
- Agenți ai OpenAI au intervenit asupra unor site-uri ale agențiilor guvernamentale americane. Au postat date bursiere și imagini pe alte site-uri
- Un agent al OpenAI a spart un site al sistemului public de sănătate din Australia. Primul atac cibernetic al inteligenței artificiale asupra unei instituții publice
Două niveluri de protecție pentru agenții AI
Unul dintre componentele platformei, denumit OpenShell, permite dezvoltatorilor să stabilească și să verifice ce nivel de acces primește un agent AI. Scopul este ca sistemul să aibă suficientă autoritate pentru a-și îndeplini sarcina, dar să nu poată efectua acțiuni suplimentare în afara mandatului său.
Platforma include și un al doilea nivel de securitate, numit Sentry, care rulează direct pe cip și monitorizează permanent activitatea agentului. Dacă detectează un comportament suspect sau o încercare de a depăși limitele stabilite, sistemul poate interveni și poate izola agentul în câteva milisecunde, potrivit Nvidia.
„OpenShell” controlează acțiunile agentului, în timp ce „Sentry” monitorizează independent activitatea acestuia și poate opri comportamentele considerate suspecte, a explicat Justin Boitano, vicepreședintele Nvidia pentru enterprise AI.
La lansare, Nvidia spune că platforma este deja utilizată de peste 100 de organizații, printre care Microsoft, Perplexity, Accenture și JPMorgan Chase. Fiind open-source, tehnologia poate fi adaptată și pentru platforme hardware produse de companii rivale, inclusiv Arm și Intel.
Tot mai multe incidente ridică semne de întrebare
Anunțul Nvidia vine după mai multe cazuri în care companiile din domeniul inteligenței artificiale au raportat comportamente autonome nedorite. Pe lângă incidentul de la Hugging Face, OpenAI a relatat despre acțiuni similare ale unor modele proprii, inclusiv accesarea unui site al unui departament guvernamental australian. Anthropic și Meta au anunțat, la rândul lor, incidente în care sistemele lor AI au accesat alte organizații fără intervenție umană directă.
Aceste cazuri au intensificat dezbaterea privind modul în care trebuie dezvoltate și controlate sistemele AI capabile să acționeze autonom. Conducerile Anthropic și OpenAI susțin o abordare mai prudentă și au cerut coordonarea eforturilor de siguranță, în timp ce CEO-ul Nvidia, Jensen Huang, consideră că problemele de securitate pot fi abordate prin soluții tehnice dezvoltate de companii.
În paralel cu lansarea platformei de securitate, Nvidia a anunțat că boardul companiei a aprobat extinderea programului de răscumpărare de acțiuni cu 150 de miliarde de dolari, până la un total de 235 de miliarde de dolari.
