Apesar dos avanços notáveis da inteligência artificial (IA) na área médica, uma nova pesquisa indica que IAs de uso geral, como o ChatGPT, ainda apresentam deficiências significativas no diagnóstico médico complexo.
Uma equipe de pesquisadores liderada pelo educador médico Amrit Kirpalani, da Universidade Western, na província canadense de Ontário, descobriu que o ChatGPT cometeu erros em 76 dos 150 casos médicos complexos do banco de dados Medscape, resultando em uma taxa de erro superior a 50%.
O estudo utilizou o banco de dados de perguntas do Medscape, cujos casos são mais próximos da realidade clínica do que os do Exame de Licenciatura Médica dos EUA (USMLE), incluindo múltiplas complicações e desafios diagnósticos. A equipe de pesquisa utilizou prompts cuidadosamente elaborados para contornar a restrição da OpenAI sobre o uso do ChatGPT para aconselhamento médico.
Nota da imagem: Imagem gerada por IA, fornecida pela Midjourney.
Kirpalani destaca que o desempenho insatisfatório do ChatGPT se deve a dois fatores principais: primeiro, a falta de profundo conhecimento especializado em medicina em comparação com IAs médicas especializadas; segundo, a dificuldade do ChatGPT em lidar com as "zonas cinzentas" da medicina, incapaz de interpretar resultados de exames levemente anormais com a flexibilidade de um médico humano.
Ainda mais preocupante é que, mesmo ao fornecer diagnósticos incorretos, o ChatGPT consegue oferecer explicações aparentemente plausíveis e convincentes. Essa característica pode induzir ao erro leigos, aumentando o risco de disseminação de informações incorretas.
Apesar disso, a IA ainda tem seu valor na área médica. O coautor do estudo, Edward Tran, afirma que o ChatGPT se tornou uma ferramenta importante no ensino médico, auxiliando os estudantes a organizar anotações, esclarecer algoritmos de diagnóstico e se preparar para exames. No entanto, Kirpalani recomenda veementemente que o público não utilize o ChatGPT para buscar aconselhamento médico, devendo continuar a consultar profissionais de saúde.
Kirpalani acredita que a construção de IAs médicas confiáveis requer treinamento com grandes quantidades de dados clínicos e supervisão rigorosa. Em curto prazo, a IA provavelmente será usada para aprimorar o trabalho de médicos humanos, em vez de substituí-los completamente. Com o avanço da tecnologia, a aplicação da IA na área médica continuará sendo um tema relevante.
