ChatGPT é reprovado em teste de diagnóstico médico em crianças

O ChatGPT, plataforma de inteligência artificial (IA) da OpenAI, voltou a apresentar resultados ruins em avaliações de diagnóstico médico. A mais recente prova envolveu uma série de testes para determinar doenças e condições médicas em crianças.

Pesquisadores do Cohen Children’s Medical Center, que fica em Nova York, comprovaram que o ChatGPT não tem as mesmas capacidades de um pediatra humano. A ideia de que IAs auxiliem médicos a encontrar causas de doenças ou previnam certas condições é um dos vários debates na área.

• Leia mais: ChatGPT vende carro de US$ 80 mil por US$ 1 ao atender cliente

Essa não é a primeira vez que o chatbot é criticado por respostas envolvendo saúde. Outro estudo publicado no final de 2023 apontou que a versão gratuita da plataforma dá respostas erradas e até perigosas sobre o uso de remédios.

Nota zero para o ChatGPT

No estudo, os cientistas apresentaram 100 casos de medicina para o ChatGPT com o motor GPT-4, usando questões e desafios reais da área publicados na última década. A ideia é que o chatbot responda o diagnóstico correto ou ao menos faça um caminho lógico até uma possível resposta.

Ao todo, a plataforma acertou apenas 17 casos, representando uma taxa de erro de 83%. Ele errou completamente 72 questões e, nos 11 desafios restantes, o resultado foi considerado insuficiente ou incompleto.

• Confira: ChatGPT, Bard, Copilot e mais: as 7 melhores IAs de 2023

A interface de conversa do ChatGPT.Fonte:  GettyImages 

De acordo com o artigo, o principal problema do ChatGPT é a incapacidade de relacionar sintomas entre si ou conectá-los com características do paciente. Ele falha em identificar questões neurológicas e de comportamento descritas no enunciado do desafio, por exemplo, ou então relacionar uma dieta como possível causa da deficiência de uma vitamina.

Entretanto, o grupo que aplicou o teste não trata o ChatGPT como causa perdida. O texto sugere que, se treinado com literatura médica especializada e não textos de toda internet, como acontece atualmente, o serviço até pode melhorar no auxílio da medicina diagnóstica.

• Veja também: OpenAI confirma que ChatGPT está mais 'preguiçoso'

Além disso, o acesso a dados em tempo real e atualizados também melhoraria a precisão, algo que hoje não é possível na plataforma da OpenAI.