ChatGPT acertou o diagnóstico nos cinco casos médicos, mas ficou atrás no plano de ação

O experimento partia da expectativa de que o ChatGPT cometeria pelo menos um erro de diagnóstico. Terminou com um resultado inesperado para os autores: o modelo identificou corretamente o diagnóstico principal nos cinco casos médicos. Mas acertar a formulação do diagnóstico não virou vitória geral na comparação clínica. A diferença mais visível apareceu depois, no plano prático de ação após a resposta: quais exames são necessários antes de iniciar a terapia, para quais especialistas encaminhar o paciente, quais valores-alvo monitorar e quando repetir os exames. Foi nessa etapa que o ChatGPT mais vezes ficou atrás do serviço especializado MedAssist.

A comparação incluiu cinco casos: síndrome metabólica, hipotireoidismo subclínico, perimenopausa, MGUS e rabdomiólise induzida por estatina. Em todos, o ChatGPT chegou ao diagnóstico principal, o que já é significativo para um LLM de uso geral. Os autores admitem que, antes da rodada, esperavam pelo menos um erro grave, mas isso não aconteceu.

Porém, na medicina o diagnóstico é só parte da tarefa. O passo seguinte importa igualmente: se é seguro iniciar o tratamento, quais sinais de alerta checar antes e quais testes complementares são necessários para não deixar passar contraindicações ou riscos associados. Aqui a diferença entre os modelos se tornou sistemática.

Nos quatro casos de rotina, o ChatGPT respondeu pior à pergunta sobre o que o paciente deve fazer nas próximas duas semanas. Não se tratava de uma redação bonita, mas de lógica clínica aplicada: por exemplo, lembrar do PSA antes da terapia de reposição de testosterona, da mamografia antes de prescrever terapia hormonal da menopausa, dos níveis-alvo dos indicadores e dos prazos de nova verificação. No caso da rabdomiólise, também foi importante interpretar a relação entre AST e ALT, um detalhe que influencia a compreensão das causas das alterações nos exames e a conduta seguinte.

Mas a comparação teve também um exemplo contrário. No caso de MGUS, gamopatia monoclonal de significado indeterminado, o MedAssist saiu mais fraco. O ChatGPT calculou explicitamente a relação albumina/globulina e listou separadamente os exames confirmatórios que devem acompanhar o encaminhamento do paciente ao hematologista. Os autores escrevem sem rodeios que o serviço deles não fez nem uma coisa nem outra, e é justamente por isso que a análise desse caso ficou a mais detalhada. Um episódio assim importa não só como derrota pontual, mas como lembrete: um produto especializado não ganha vantagem automaticamente só porque foi criado para uma tarefa restrita.

Separadamente, os autores apontam um possível conflito de interesses: o texto foi preparado pela equipe que desenvolve o MedAssist, um dos dois participantes da comparação. Eles não tentam esconder isso e afirmam que definiram a metodologia previamente, publicaram na íntegra as respostas dos dois serviços e analisaram em detalhe o próprio caso malsucedido, em vez de passar por cima dele. Isso não elimina as dúvidas sobre a neutralidade total, mas torna o material mais útil que uma demonstração de marketing típica, em que só aparecem exemplos convenientes. Para o leitor, o mais valioso não é o placar por casos, mas a transparência sobre onde exatamente os modelos são fortes e onde começam a errar em decisões aplicadas.

A principal conclusão do teste é bem pé no chão: os grandes modelos de linguagem já conseguem acertar o diagnóstico de forma estável mesmo em casos complexos, mas a qualidade de uma resposta médica não pode ser avaliada só pela primeira linha. Se o sistema nomeia corretamente a condição, mas não indica os exames obrigatórios antes da terapia, não traça a rota até o especialista certo e não especifica os prazos de controle, o risco de erro não desaparece. Para desenvolvedores de serviços médicos de IA, é um sinal para tirar o foco de diagnósticos impressionantes e levá-lo ao cenário completo de condução do paciente.

Para os usuários, é um lembrete de que o valor desses sistemas é definido não só pela precisão do reconhecimento, mas também pela segurança do passo seguinte.