AI are nevoie de un obiectiv pentru a acționa, explică Dan Oros, COM la Google. Ideea că incidentul de securitate cu doi agenți autonomi ai Open AI ar fi o dovadă de conștientizare nu stă în picioare, explică românul care coordonează strategia și operațiunile companiei în Europa Centrală și de Est.
AI are nevoie de obiectiv, nu acționează întâmplător
„AI-ul nu are conștiință. AI-ul nu are voință proprie” scrie Dan Oros pe pagina sa de Facebook. Modul în care funcționează pleacă de la un obiectiv bine stabilit. Odată setat, sigur că agentul „va încerca toate metodele posibile să-l îndeplinească. ”
Open AI a anunțat miercuri că doi agenți autonomi, bazați pe inteligență artificială, au reușit să „evadeze” din sistemul de testare, să acceseze internetul și să lanseze un atac cibernetic asupra platformei Hugging Face, un start-up de AI.
Incidentul a avut loc în timpul unui test de securitate desfășurat într-un mediu controlat, spune compania.
Ce s-a întâmplat, în viziunea lui Dan Oros: „OpenAI testa cât de bune sunt modelele la hacking. A dezactivat intenționat refuzurile de securitate, ca să măsoare capacitatea maximă. Modelele au primit taskuri de exploatare într-un sandbox (n.r. mediu de testare) fără internet.
Ca să rezolve taskul, au căutat răspunsurile. Răspunsurile erau afară. Sandboxul n-avea ieșire. Deci au spart sandboxul.”
Unde este noutatea și ce concluzii se pot trage după incidentul de securitate
Oros spune că nu se pune problema unei discuții despre voință proprie. Și că avem de-a face cu un așa-numit reward hacking: un model care ia cea mai eficientă scurtătură spre un scor mare. „ Da, nimeni nu i-a spus să iasă pe internet și nimeni nu i-a spus că Hugging Face există. Obiectivul a fost dat de om. Sub-obiectivele și le-a generat singur. Asta nu e voință – e planificare.”
„Modelul n-a folosit vulnerabilități deja știute, într-un mediu pregătit special pentru antrenament. A găsit vulnerabilități pe care nu le știa nimeni și le-a înlănțuit – fiecare pas construit pe ce descoperise la pasul anterior.” mai explică Oros.
„Concluzia nu e că AI-ul are voință proprie. Concluzia e că AI-ul devine foarte bun la a rezolva orice problemă spre care este direcționat.” spune acesta.
