Un studiu de la Oxford avertizează asupra riscurilor utilizării ChatGPT pentru consultații medicale: experții spun că AI ar putea să nu detecteze cazuri urgente

Un studiu de la Universitatea din Oxford, publicat în revista științifică Nature Medicine, a analizat utilizarea modelelor lingvistice precum ChatGPT pentru a evalua simptomele medicale și a determina cursuri de acțiune.

Cercetarea a examinat cine folosește aceste instrumente, cum interacționează cu ele și cât de eficiente sunt în comparație cu metodele tradiționale și a concluzionat că Inteligența artificială nu poate înlocui încă evaluarea unui profesionist din domeniul sănătății.

Cercetarea a fost realizată de Institutul de Internet Oxford și Departamentul de Științe ale Sănătății de Asistență Primară Nuffield de la Universitatea din Oxford, în colaborare cu MLCommons și alte instituții. Lucrarea a identificat o diferență între performanța modelelor de limbaj mari (LLM) la testele standardizate de cunoștințe medicale și performanța acestora atunci când interacționează cu persoane care se consultă pentru simptome reale.

Potrivit raportului, deși sistemele AI obțin un scor ridicat la testele de referință, poate prezenta dificultăți în oferirea de îndrumare utilizatorilor care descriu situații personale. Printre riscurile identificate se numără posibilitatea diagnosticării greșite și nerecunoașterea cazurilor care necesită o atenție urgentă.

Studiul a inclus un studiu online randomizat cu aproape 1.300 de participanți, toți medici. Fiecare a fost prezentat cu diferite scenarii clinice și i sa cerut să: 1. Identificați posibilele condiții de sănătate. 2. Propune o măsură de acțiune adecvată. Cazurile au implicat situații precum cea a unui tânăr cu o durere de cap severă după o noapte în oraș sau cea a unei proaspete mame cu o senzație persistentă de dificultăți de respirație și oboseală.

Un grup a folosit un instrument de inteligență artificială pentru a decide cum să răspundă la simptomele descrise, în timp ce celălalt a folosit metode tradiționale, cum ar fi căutările online sau propria judecată profesională. Cercetătorii au comparat apoi capacitatea ambelor grupuri de a recunoaște problema și de a selecta răspunsul corect.

De la Universitatea din Oxford, ei au explicat: „Cei care au folosit LLM nu au luat decizii mai bune decât participanții care au folosit metode tradiționale, cum ar fi căutările online sau propria lor judecată”. Mai mult, atunci când au comparat aceste rezultate cu evaluările standard LLM, care nu includ interacțiunea cu utilizatori reali, ei au observat că sistemele au funcționat bine la testele tehnice, dar au arătat limitări în setările practice.”

Dr. Rebecca Payne, de la Nuffield Primary Care Health Sciences, medic generalist și medic principal al studiului, a declarat: „În pofida publicității, AI nu este încă pregătită să-și asume rolul de medic. Pacienții ar trebui să fie conștienți de faptul că întrebarea unui model de limbaj lung despre simptomele lor poate fi periculos, deoarece poate diagnostica greșit și nu recunoaște când este nevoie de ajutor urgent”.

S-a identificat și locul de muncă dificultăți de comunicare între utilizatori și sistemele de inteligență artificială. Participanții, în mai multe cazuri, nu știau ce informații să furnizeze pentru a obține un răspuns corect. Ca urmare, recomandările generate s-au combinat adecvat cu îndrumările inadecvate, făcând dificilă alegerea cursului corect de acțiune.

Autorul principal, Andrew Bean, doctorand la Oxford Internet Institute, a declarat: „Proiectarea de teste robuste pentru modele de limbaj mari este cheia pentru a înțelege cum putem beneficia de această nouă tehnologie. În acest studiu, demonstrăm că interacțiunea cu oamenii este o provocare chiar și pentru cei mai experimentați studenți LLM. Sperăm că această lucrare va contribui la dezvoltarea unor sisteme AI mai sigure și mai utile”.

Cercetarea concluzionează că mecanismele actuale de evaluare a IA nu reproduc complexitatea interacțiunii cu oamenii în situații reale. Prin urmare, Autorii propun ca aceste sisteme să fie testate în medii reale înainte de adoptarea pe scară largăsimilar cu studiile clinice aplicate noilor medicamente.

Profesorul asociat Adam Mahdi, autorul principal al studiului și membru al Institutului de Internet Oxford, a declarat: „Nu ne putem baza doar pe testarea standardizată pentru a determina dacă aceste sisteme sunt sigure pentru uzul public. Așa cum avem nevoie de studii clinice pentru medicamente noi, sistemele de inteligență artificială au nevoie de teste riguroase cu utilizatori reali și diverși pentru a le înțelege adevăratele capacități în medii cu risc ridicat, cum ar fi asistența medicală”.

La Nación (Argentina) / GDA