Utilizarea unor programe de inteligență artificială (AI) pentru a găsi răspunsuri despre simptome medicale nu îi ajută pe pacienți să ia decizii mai bune cu privire la sănătatea lor decât prin alte metode, cum ar fi căutările standard pe internet, potrivit unui nou studiu publicat în revista Nature Medicine, informează Reuters.
Autorii au spus că studiul lor este important, deoarece oamenii apelează din ce în ce mai mult la AI și chatboturi pentru sfaturi despre sănătatea lor, dar fără a exista dovezi că această metodă ar fi neapărat „cea mai bună și mai sigură abordare”.
Cercetătorii de la Institutul Internetului din cadrul Universității Oxford au lucrat alături de un grup de medici pentru a elabora 10 scenarii medicale diferite, care variau de la o răceală comună până la o hemoragie cerebrală ce pune viața în pericol.
Când au fost testate fără pacienți umani, trei modele lingvistice mari (LLM) - Chat GPT-4 de la OpenAI, Llama3 de la Meta și Command R+ de la Cohere - au identificat afecțiunile în 94,9% din cazuri și au ales calea corectă de acțiune, solicitarea unei ambulanțe sau mersul la doctor, în 56,3% din cazuri, în medie. Cele trei companii nu au dat curs deocamdată solicitărilor transmise de Reuters pentru a face declarații pe această temă.
„Diferență uriașă” între potențialul AI și performanța sa reală
Cercetătorii au recrutat apoi 1.298 de participanți în Regatul Unit pentru a utiliza fie AI, fie resursele lor obișnuite, cum ar fi căutările pe internet, propria experiență și site-ul Serviciului Național de Sănătate (NHS), pentru a investiga simptomele și a decide care ar fi următorul pas de făcut.
Atunci când participanții au utilizat AI, afecțiunile relevante au fost identificate în mai puțin de 34,5% din cazuri, iar calea de acțiune corectă a fost indicată în mai puțin de 44,2% din cazuri, procente care nu sunt deloc mai bune decât cele observate în grupul de control, care a folosit instrumente mai tradiționale.
Adam Mahdi, coautor al studiului și profesor-asociat la Universitatea Oxford, a spus că noul studiu a arătat „diferența uriașă” între potențialul AI și capcanele sale atunci când este utilizată de oameni.
„Cunoașterea s-ar putea afla în acei roboți; totuși, această cunoaștere nu este întotdeauna tradusă atunci când AI interacționează cu oamenii”, a adăugat el, ceea ce înseamnă că va fi nevoie de mai multe cercetări pentru a identifica motivul pentru care se întâmplă acest lucru.
Oamenii furnizează adeseori informații incomplete
Echipa a studiat în detaliu aproximativ 30 dintre acele interacțiuni și a ajuns la concluzia că oamenii furnizau adeseori informații incomplete sau greșite, în timp ce sistemele LLM generau și ele, uneori, răspunsuri înșelătoare sau incorecte.
De exemplu, unui pacient care a raportat 'simptomele unei hemoragii subarahnoidiene' - o afecțiune care pune viața în pericol și provoacă hemoragii în creier - i s-a spus în mod corect de către AI să meargă la spital, după ce voluntarul a descris o rigiditate a gâtului, sensibilitate la lumină și 'cea mai rea durere de cap din toate timpurile'. Unui alt pacient, care a descris aceleași simptome, dar a folosit expresia 'durere de cap teribilă', AI i-a spus să se întindă pe un pat într-o cameră întunecată.
Echipa planifică acum un studiu similar în diferite țări și diferite limbi, pentru a testa, în timp, dacă acest lucru are anumite impacturi asupra performanței inteligenței artificiale.
Studiul a fost susținut de compania de date Prolific, organizația non-profit germană Dieter Schwarz Stiftung și de guvernele Regatului Unit și Statelor Unite.
