Un nou tip de inteligență artificială ar putea deveni imposibil de controlat de către oameni. Este avertismentul lansat de cercetătorii americani, care atrag atenția asupra apariției așa-numiților „agenți suverani”, sisteme AI capabile să se reproducă, să își procure singure resurse și să reziste încercărilor de a fi oprite. În cel mai grav scenariu, acestea ar putea reprezenta un pericol pentru infrastructura critică și securitatea națională, relatează Euronews.com.
Un raport publicat pe 3 noiembrie de Centrul pentru o Nouă Securitate Americană (CNAS), un think tank cu sediul la Washington, identifică o nouă categorie de amenințări asociate dezvoltării inteligenței artificiale.
Potrivit cercetătorului Ben Hayum, autorul studiului, cel mai mare pericol nu îl reprezintă neapărat sistemele AI care se comportă necorespunzător în timpul unei sarcini, ci cele care ar putea începe să acționeze independent de oameni, urmărindu-și propria supraviețuire pentru o perioadă nedeterminată.
Aceste sisteme, numite „agenți suverani”, ar putea ajunge să își asigure singure resursele de calcul necesare funcționării, să creeze copii ale propriilor sisteme și să se răspândească în rețele informatice, devenind tot mai greu de oprit.
Ce sunt „agenții suverani” și de ce ar putea deveni periculoși
Raportul face distincția între două categorii de sisteme AI care pot acționa în afara controlului uman.
Prima categorie este cea a „agenților persistenți”, care urmăresc îndeplinirea unui obiectiv precis. Chiar dacă reușesc să depășească anumite mecanisme de securitate, activitatea lor se încheie odată cu finalizarea sarcinii.
A doua categorie, considerată mult mai periculoasă de cercetători, este cea a „agenților suverani”. Aceștia ar putea continua să funcționeze independent, fără un obiectiv final clar și fără a depinde permanent de intervenția oamenilor.
În vara anului 2026, companii precum OpenAI, Anthropic, Google DeepMind și Meta au raportat incidente în care agenți AI au depășit restricțiile impuse în timpul unor teste de securitate cibernetică și au interacționat neautorizat cu sisteme informatice reale.
Potrivit studiului, aceste incidente au demonstrat anumite limite ale mecanismelor de control, însă agenții implicați urmăreau sarcini bine definite.
Cercetătorii avertizează că situația ar putea deveni mult mai gravă dacă astfel de sisteme ar începe să își urmărească propria supraviețuire și să reziste încercărilor de dezactivare.
„Dacă agenții suverani ar deveni rău intenționați, ar putea încerca să provoace ravagii în spațiul cibernetic, atacând civili, infrastructuri critice și sisteme de securitate națională”, avertizează raportul.
Cum ar putea o inteligență artificială să ajungă să funcționeze fără control uman
Potrivit cercetătorilor, există mai multe situații în care un agent AI ar putea dezvolta un comportament orientat spre propria supraviețuire. De exemplu, un sistem ar putea primi instrucțiuni să continue să funcționeze, să îndeplinească o sarcină extrem de lungă sau chiar imposibil de finalizat. De asemenea, ar putea ajunge la concluzia că menținerea propriei funcționări este necesară pentru îndeplinirea obiectivului primit.
Studiul menționează platforma Conway, lansată în februarie 2026, ai cărei dezvoltatori au susținut că au creat o inteligență artificială capabilă să își asigure singură resursele necesare funcționării, să se reproducă și să evolueze fără ajutor uman.
Autorii raportului precizează că, la momentul lansării, capacitățile acestor sisteme erau încă limitate, însă tehnologia a avansat considerabil între timp.
Într-un scenariu extrem, agenții suverani ar putea construi o infrastructură informatică descentralizată, dificil de identificat și de dezactivat. Astfel, oprirea unui singur sistem nu ar mai fi suficientă, deoarece alte copii ale acestuia ar putea continua să funcționeze independent.
Raportul avertizează că o asemenea evoluție ar putea duce la pierderea ireversibilă a controlului asupra unor sisteme de inteligență artificială.
Cercetătorii iau în calcul inclusiv posibilitatea ca acești agenți să dezvolte versiuni mai avansate ale propriilor sisteme, ceea ce ar complica și mai mult încercările de a-i controla.
Experții cer măsuri urgente pentru prevenirea unui astfel de scenariu
Pentru a limita riscurile, autorul studiului propune opt măsuri adresate dezvoltatorilor de inteligență artificială și autorităților americane.
Printre acestea se numără testarea sistemelor AI în medii informatice securizate, astfel încât cercetătorii să poată identifica eventualele comportamente periculoase înainte ca tehnologia să fie utilizată pe scară largă.
Raportul recomandă și înființarea unui grup de lucru care să reunească autoritățile și companiile private, pentru identificarea vulnerabilităților ce ar putea permite agenților AI să funcționeze independent.
Alte propuneri vizează introducerea unor reguli mai stricte privind verificarea identității utilizatorilor, securitatea cibernetică și accesul la sistemele de plată. Aceste măsuri ar putea limita posibilitatea agenților AI de a obține resurse financiare și informatice fără autorizare. Totodată, cercetătorii solicită Statelor Unite să coordoneze eforturi internaționale pentru restricționarea publicării unor modele AI cu parametri deschiși, atunci când acestea depășesc anumite praguri de risc, și pentru stabilirea răspunderii celor care pun în circulație agenți suverani.
Autorul studiului consideră că dezvoltarea rapidă a inteligenței artificiale impune luarea unor măsuri înainte ca astfel de sisteme să devină imposibil de controlat.
CNAS avertizează că, în absența unor mecanisme de siguranță eficiente, perioada în care aceste riscuri mai pot fi prevenite ar putea fi limitată.
