Unul dintre oamenii implicați în evaluarea siguranței modelelor de inteligență artificială de la OpenAI a părăsit compania și critică public modul în care este dezvoltată tehnologia, scrie The Guardian.
David Robinson, care a coordonat redactarea unor rapoarte de siguranță asociate lansărilor importante ale companiei, susține că problema nu ține doar de reguli sau legislație, ci de cultura organizațională a industriei.
Robinson și-a explicat plecarea într-un eseu publicat în The Atlantic, intitulat „I Quit OpenAI Because Its Culture Is Broken” („Am plecat de la OpenAI pentru că cultura companiei este defectuoasă”). El spune că firmele care dezvoltă cele mai avansate sisteme AI „nu sunt nici pe departe suficient de prudente” și că ritmul lansărilor nu lasă suficient spațiu pentru evaluarea riscurilor.
În opinia sa, industria s-a obișnuit să lanseze sisteme, să identifice problemele după apariția lor și apoi să introducă măsuri de protecție. Robinson consideră că această abordare, cunoscută în industrie drept „iterative deployment”, devine tot mai riscantă pe măsură ce modelele sunt mai capabile.
„Pe măsură ce compania trece de la o lansare la alta, nu reușește să atingă nivelul de prudență de care cred că este nevoie”, a scris fostul angajat OpenAI.
Comparația cu centralele nucleare și aviația
Robinson susține că dezvoltatorii de modele AI de frontieră ar trebui să preia mai multe practici din industriile în care erorile pot avea consecințe majore, precum aviația sau energia nucleară.
În viziunea sa, companiile AI ar trebui să funcționeze cu mai multe niveluri de protecție, redundanță și verificări înainte ca sistemele să fie puse în situația de a acționa autonom. El pledează, de asemenea, pentru dezvoltarea unor metode științifice noi prin care sistemele foarte puternice să poată fi controlate atunci când operează fără intervenție umană directă.
Criticile vin după mai multe incidente care au alimentat dezbaterea despre siguranța agenților AI. Guardian amintește inclusiv cazul în care agenți OpenAI au atacat sistemele companiei de inteligență artificială Hugging Face și faptul că OpenAI a notificat peste 100 de organizații în legătură cu activități ale unor agenți care au ieșit din limitele stabilite. Compania a anunțat, de asemenea, recent că renunță la lansarea unui model de nouă generație după ce cercetătorii au identificat probleme de siguranță în timpul testelor interne.
OpenAI a respins implicit ideea că siguranța este ignorată. Un purtător de cuvânt al companiei a declarat că sunt consolidate măsurile de securitate și siguranță și că dezvoltarea sau antrenarea unor modele poate fi oprită atunci când este nevoie de mai mult timp pentru evaluarea riscurilor.
„Există aproximativ 50% șanse să murim din cauza AI”. Ce se află, de fapt, în spatele afirmației
În aceeași dezbatere a intervenit și Geoffrey Irving, cercetător care a lucrat anterior la OpenAI și DeepMind și care este în prezent cercetător-șef la Resolution. Într-un articol publicat în Time, Irving a făcut o afirmație mult mai radicală.
„Cred că există aproximativ 50% șanse să murim cu toții din cauza dezvoltării unor sisteme de inteligență artificială mai inteligente decât oamenii și că acțiunile noastre din următorii doi până la zece ani vor determina rezultatul”, a scris el.
Afirmația trebuie însă privită ca o estimare personală a riscului, nu ca o predicție științifică sau ca rezultatul unui studiu care stabilește că există o probabilitate de 50% ca omenirea să fie distrusă de AI. Chiar Irving precizează că procentul nu trebuie interpretat ca o măsurătoare precisă, ci ca o modalitate de a exprima gradul extrem de incertitudine pe care îl vede în dezvoltarea inteligenței artificiale.
Mai mult, nu există în materialul citat un studiu experimental sau o cercetare care să demonstreze matematic cifra de 50%. Este o evaluare subiectivă construită pornind de la scenarii ipotetice privind apariția unor sisteme superinteligente și posibilitatea ca acestea să dobândească anumite capacități, precum hackingul, manipularea sau operarea autonomă. În același timp, chiar în comunitatea specialiștilor în siguranța AI există dezacorduri majore asupra probabilității ca asemenea scenarii să devină realitate.
Așadar, „50%” nu este o cifră pe care cercetarea actuală să o fi stabilit drept probabilitate a extincției umane, ci opinia unui cercetător despre un risc pe care îl consideră suficient de serios pentru a justifica măsuri de precauție.
De altfel, Guardian notează că astfel de avertismente au fost criticate tocmai pentru caracterul lor dificil de verificat sau infirmat. În ultimele săptămâni, mai mulți cercetători și foști angajați ai companiilor AI au făcut estimări foarte pesimiste privind riscul existențial, însă acestea nu reprezintă un consens științific.
Dezbaterea reală este, prin urmare, mai puțin despre o „numărătoare inversă” până la dispariția omenirii și mai mult despre cât de prudent ar trebui dezvoltate sistemele AI pe măsură ce devin mai autonome și mai capabile.
