Chatbots de IA populares erram diagnósticos em mais de 80 % dos casos, conclui estudo

Os bots de IA populares para o consumidor se saem mal no papel de diagnosticador digital. Um estudo mostrou que, ao tentar fazer um diagnóstico médico a partir de um conjunto limitado de sintomas, eles erram em mais de 80 % dos casos.

Como os bots foram testados

Os pesquisadores não avaliaram sistemas médicos especializados, e sim chatbots de massa, aos quais os usuários recorrem em busca de uma resposta rápida para qualquer pergunta. Os bots receberam cenários com dados incompletos sobre o paciente, mais ou menos como uma pessoa descreve como se sente na primeira mensagem: sem exames, sem avaliação física e sem as perguntas de esclarecimento de um médico.

A tarefa parecia simples: associar os sintomas a uma causa provável. Mas foi justamente nesse modo que apareceu o principal problema: uma resposta confiante, coerente e agradável na forma muitas vezes não coincidia com a conclusão clinicamente correta.

Esse formato também é muito próximo do comportamento real dos usuários. Raramente alguém chega a um bot com um prontuário bem organizado: o mais comum são algumas frases sobre dor, temperatura, fraqueza ou um sintoma incomum que a pessoa quer explicar rápido, sem marcar consulta na clínica. Por isso, o teste media na prática não a capacidade abstrata do modelo de raciocinar sobre medicina, mas sua adequação a um cenário do dia a dia, em que surge a tentação de trocar a consulta com um especialista por uma resposta instantânea do chat.

De onde vêm os erros

Modelos de uso geral são bons em recontar informações gerais, explicar termos e condensar dados numa resposta compacta. Mas o diagnóstico médico funciona de outro jeito: é preciso lidar com incerteza, descartar opções parecidas, considerar cenários raros, porém perigosos, e às vezes admitir com honestidade que faltam dados. Um bot para o consumidor tende a encerrar a solicitação com uma resposta de aparência útil, em vez de parar numa formulação segura e encaminhar a pessoa a um especialista.

Outro problema é que um chatbot de massa não conduz um diálogo diagnóstico completo. Ele pode fazer um par de perguntas de esclarecimento, mas não testa hipóteses de forma sistemática, não confronta as respostas com medições objetivas e não assume responsabilidade clínica pelo resultado. Mesmo quando o modelo acerta a direção geral, ele deixa passar com facilidade detalhes que, para o médico, mudam toda a conclusão: a duração dos sintomas, doenças associadas, medicamentos, idade, cirurgias recentes ou a evolução do agravamento.

O problema aumenta quando os sintomas se repetem em dezenas de condições e o usuário os descreve de forma imprecisa ou breve demais. Nessas circunstâncias, o modelo passa a completar o quadro por um modelo-padrão e comprime a incerteza em uma única resposta confiante, enquanto na prática real o médico provavelmente manteria várias hipóteses e pediria exames adicionais. É isso que torna o erro especialmente difícil de perceber para o usuário.

O resultado são falhas típicas:

• o bot confunde condições com sintomas parecidos
• subestima a urgência de casos potencialmente perigosos
• dá um único diagnóstico confiante onde seria preciso uma lista de possibilidades
• não separa informação de referência de decisão médica

Por que isso é perigoso

O principal risco não é que o bot às vezes erre, e sim que ele erra de forma convincente. Para o usuário, um tom calmo e seguro pode parecer sinal de competência, embora por trás da resposta não haja exame físico, acesso ao histórico médico nem análise de exames. Quem recebe um falso alívio pode adiar a ida ao médico, não perceber a piora do quadro ou tomar as atitudes erradas nas primeiras horas, quando a rapidez de reação é especialmente importante.

O cenário é particularmente perigoso quando os sintomas lembram algo inofensivo, mas na verdade exigem avaliação urgente: por exemplo, dor forte, falta de ar, alterações neurológicas ou sinais de infecção. Nesses casos, o erro não é só uma formulação imprecisa num chat, mas tempo perdido. Os bots para o consumidor são otimizados para a conveniência da conversa e a sensação de utilidade, não para uma triagem médica conservadora, em que é melhor encaminhar a pessoa ao médico uma vez a mais do que deixar passar um sinal crítico.

Isso não significa que a IA seja inútil na medicina. Esses sistemas podem ajudar a formular queixas, explicar o significado de termos, preparar perguntas para a consulta ou lembrar quais dados vale reunir antes dela. Mas, como ferramenta de diagnóstico, os chatbots de massa ainda são pouco confiáveis, sobretudo quando há pouca informação, os sintomas são vagos e o custo do erro é alto. Nesse papel, é mais sensato usá-los como camada preparatória e de consulta antes de procurar o médico, não como árbitro final.

O que isso significa

A conclusão do estudo é bastante dura: os bots de IA populares não podem ser vistos como substitutos do médico, mesmo que encontrem informações rápido e falem com segurança. Para os usuários, esse é o limite da confiança; para as empresas, um sinal de que cenários médicos exigem ajuste específico, validação por especialistas e uma apresentação muito cuidadosa das respostas.