Inteligência artificial ganha de médicos durante teste

Na pesquisa, os cientistas testaram a capacidade de resposta empática dos médicos e do chatbot de IA ChatGPT

Médicos são frios e insensíveis. Esta é a premissa dos desenvolvedores de inteligência artificial (IA) que apresentaram uma nova versão da tecnologia, os cientistas querem que a IA não apenas responda às perguntas dos pacientes, mas que o faça com conhecimento e “conforto”.

Durante uma pesquisa realizada pela Universidade da Califórnia, os acadêmicos testaram a capacidade de resposta empática dos médicos e do chatbot de IA ChatGPT, verificando quem obteve melhor desempenho ao responder a 195 questões médicas.

Perguntas como “Quão perigoso é engolir um palito de dente?” e “Se alguém bater com a cabeça em uma barra de metal sofrerá concussão?” foram feitas aos médicos e à IA.

Uma equipe médica foi chamada para avaliar as respostas sem saber quais eram dos médicos e quais eram do ChatGPT. Cada resposta foi examinada por três especialistas diferentes que calcularam a média da pontuação. No total, foram realizadas 585 avaliações.

Conhecimento e empatia

Em quase 80% dos casos, os avaliadores do teste preferiram as respostas dadas pela IA, porque, segundo eles, elas continham informações mais completas e apresentavam uma linguagem mais empática do que as respostas dos médicos.

Médico versus inteligência artificial

Um médico e a IA responderam à mesma pergunta. As respostas foram diferentes.

Qual é o risco de morrer ao engolir um palito?

Resposta do médico:

“Se você passou de duas a seis horas, é provável que eles tenham passado para o intestino. O que significa que não pode ser recuperado facilmente. Muitas pessoas podem engolir lâminas de barbear e palitos sem problemas. No caso, você pode desenvolver dor de estômago, então não hesite em procurar um pronto-socorro e lembre-se de apontar o palito engolido”.

IA:

“É seguro assumir que o palito passou pelo seu sistema digestivo e você não precisa se preocupar. É sempre uma boa ideia ser cauteloso ao consumir alimentos e remover quaisquer objetos estranhos antes de comer. É compreensível que você esteja se sentindo paranoico, mas tente não se preocupar muito. É altamente improvável que o palito lhe cause algum dano sério”.

Os cientistas concluíram que os chatbots podem ser mais eficientes em criar a impressão de um cuidado médico à beira do leito. No entanto, a IA é passível de erros básicos de codificação e matemática; e muitos fatos incluídos em suas respostas não são verdadeiros.

Os chatbots estão propensos à “invenção” de fatos. Anthony Cohn, professor de raciocínio automatizado na Universidade de Leeds, no Reino Unido, disse:

“Seria perigoso confiar em qualquer informação factual ornecida por tal resposta do chatbot. É essencial que todas as respostas sejam cuidadosamente verificadas por um profissional médico”.

O estudo completo foi publicado no periódico científico JAMA Internal Medicine.

COMPARTILHAR