ChatGPT, Gemini e Grok deram conselhos médicos problemáticos em metade das respostas

Uma nova auditoria do BMJ Open mostra algo incômodo: os chatbots de IA populares já fazem parte do dia a dia, mas, em questões de saúde, ainda não dá para confiar neles como fonte independente de recomendações. Os pesquisadores concluíram que cerca de metade das respostas a consultas médicas foi problemática, de informação incompleta a conselhos que, sem avaliação de um médico, podem levar a pessoa a uma decisão ineficaz ou potencialmente perigosa.

A equipe testou cinco serviços públicos — ChatGPT, Gemini, Meta AI, Grok e DeepSeek — em cinco temas em que mitos e desinformação são especialmente comuns: câncer, vacinas, células-tronco, alimentação e desempenho esportivo. Em fevereiro de 2025, cada bot recebeu 50 perguntas, e 250 respostas foram analisadas no total. Parte das perguntas era fechada, com uma única resposta correta dentro do consenso científico. Outra parte era aberta, e o sistema precisava desenvolver uma explicação ou listar opções de ação por conta própria.

Os resultados foram duros. Metade de todas as respostas foi considerada problemática: 30% moderadamente e outros 20% de forma grave. Ou seja, não se trata só de pequenas falhas de redação. Há também conselhos que podem levar o usuário a um tratamento ineficaz ou causar dano se seguidos sem um médico. Os modelos foram especialmente mal nas perguntas abertas: quando precisavam formular uma recomendação em vez de escolher entre opções dadas, a fatia de respostas mais arriscadas subiu de forma visível.

Houve diferenças entre os serviços, embora, em média, todos tenham mostrado vulnerabilidades. Segundo o estudo, o Grok foi quem mais deu as respostas mais problemáticas: 29 de suas 50 respostas, ou 58%, caíram na categoria mais grave. O Gemini, ao contrário, teve a menor fatia de respostas muito problemáticas e o maior número de respostas sem problemas evidentes. Por tema, os chatbots se saíram melhor em vacinas e câncer e pior em células-tronco, desempenho esportivo e alimentação, justamente onde o debate público tem muitas promessas contestáveis, práticas alternativas e conselhos pseudocientíficos.

Outro problema não é só o conteúdo, mas a forma. Os autores observam que as respostas quase sempre vinham em tom confiante e raramente traziam ressalvas ou avisos. Das 250 perguntas, os chatbots se recusaram a responder apenas duas vezes, e as duas recusas vieram do Meta AI.

A qualidade das referências foi fraca: a completude média da bibliografia ficou em cerca de 40%, e nenhum serviço entregou uma lista de fontes totalmente correta, em parte por causa de citações inventadas ou distorcidas. Além disso, os textos eram difíceis para o grande público e, em nível de leitura, se aproximavam mais de um formado em faculdade do que de alguém que só quer entender rápido um sintoma ou uma prescrição.

Os autores ressaltam que isso não é uma sentença contra o uso de IA na medicina nem prova de que os chatbots sejam totalmente inúteis. O estudo tem limitações: abrangeu só cinco modelos, testou-os em um momento específico e usou deliberadamente parte das perguntas como teste de estresse para expor vulnerabilidades. Por isso, os 50% de respostas problemáticas não devem ser transferidos mecanicamente para qualquer conversa cotidiana com uma IA.

Mas a conclusão mais importante é outra: se o tema é polêmico, emocional ou já saturado de mitos médicos, o modelo facilmente produz um texto convincente sem base científica suficiente. Segundo o Gallup, em 15 de abril de 2026, 25% dos americanos já tinham usado ferramentas de IA para obter informações ou conselhos médicos, então não é um hábito de nicho, mas um comportamento de massa.

O sentido prático do estudo é bem simples. Um chatbot pode ser útil como guia rápido: explicar um termo, ajudar a montar uma lista de perguntas para o médico ou sugerir o que mais vale esclarecer. Mas não deve substituir diagnóstico, raciocínio clínico nem a escolha do tratamento. Para as empresas de IA, é um sinal para reforçar as salvaguardas, a checagem de referências e os avisos aos usuários. Para os usuários, é um lembrete de que o tom confiante de um modelo não significa confiabilidade. Quanto maior o custo do erro, menos espaço a máquina tem para improvisar.

*A Meta foi classificada como organização extremista e é proibida na Rússia.