Modelo da OpenAI supera médicos em diagnóstico, mas cientistas pedem cautela

Pela primeira vez, um modelo de linguagem da OpenAI superou médicos em precisão diagnóstica com dados reais de pronto-socorro. O estudo foi publicado na revista Science em 30 de abril.

O que o estudo mostrou

O modelo o1-preview, da OpenAI, analisou prontuários de 76 casos reais de um pronto-socorro. Em diferentes etapas do atendimento (na admissão, após o exame do médico, após a transferência para outro setor), o modelo emitia o diagnóstico em paralelo a dois médicos. E acertava mais: no ponto final, 82% dos diagnósticos estavam corretos, contra 79% e 70% dos médicos.

Curiosamente, tanto as pessoas quanto o modelo foram melhor quando havia mais informação. Mas a IA manteve a vantagem em todas as etapas, mesmo com dados incompletos.

• 82% de precisão diagnóstica contra 79% e 70% dos médicos
• Testado em prontuários reais de pronto-socorro
• O modelo analisou conjuntos completos de detalhes
• Melhorava os resultados a cada nova informação

Mas os médicos são cautelosos

Os próprios autores fazem questão de esclarecer: a IA não substitui os doutores. "Não acho que nossos resultados signifiquem que a IA vai tirar o lugar dos médicos", diz o coautor Arjun Manrai, da Faculdade de Medicina de Harvard. Seu colega Adam Rodman, professor de medicina em Boston, acrescenta: "Os resultados são ótimos, não me entendam mal, mas fico um pouco preocupado com como eles podem ser usados".

O principal problema é que não existe um padrão único de como avaliar LLMs em tarefas médicas. Alguns pesquisadores consideram sucesso se o modelo citou 5 de 7 diagnósticos possíveis. Outros veem isso como fracasso total. O mesmo resultado é avaliado de formas diferentes.

O problema da confiabilidade dos chatbots

Estudos paralelos mostram que chatbots frequentemente inventam respostas a perguntas médicas. Quase metade das respostas contém erros: fontes inventadas, conselhos imprecisos, falsidades ditas com segurança. O modelo parece igualmente convincente, esteja certo ou não.

"Esses modelos são usados todos os dias, e há um certo risco que ninguém mede nem reduz", —

Arya Rao, Harvard

Para o médico, a tarefa é mais difícil: quando o modelo dá uma consulta, o doutor precisa entender rapidamente se está certo ou se é alucinação. O médico, claro, entende melhor quais informações importam. Mas detectar uma mentira dentro de uma resposta convincente é um desafio.

O que isso significa

A OpenAI já lançou o ChatGPT para médicos e para a área da saúde. A tecnologia avança mais rápido do que a medicina consegue regulamentar e testar. São necessários ensaios clínicos reais e fluxos de trabalho claros, em que o médico use a IA como auxiliar nas discussões de casos, e não como resposta final.

A velocidade da inovação importa, mas a responsabilidade é ainda mais necessária.