ChatGPT, Gemini et Grok ont donné des conseils médicaux problématiques dans la moitié de leurs réponses

Un nouvel audit de BMJ Open met en lumière un point gênant : les chatbots d'IA populaires font déjà partie du quotidien, mais pour les questions de santé, on ne peut toujours pas s'y fier comme source autonome de recommandations. Les chercheurs concluent qu'environ la moitié des réponses aux requêtes médicales était problématique, de l'information incomplète à des conseils qui, sans avis médical, peuvent pousser une personne vers une décision inefficace ou potentiellement dangereuse.

L'équipe a testé cinq services publics — ChatGPT, Gemini, Meta AI, Grok et DeepSeek — sur cinq sujets où mythes et désinformation sont particulièrement fréquents : cancer, vaccins, cellules souches, alimentation et performance sportive. En février 2025, chaque bot a reçu 50 questions, soit 250 réponses analysées au total. Certaines requêtes étaient fermées, avec une seule réponse correcte au regard du consensus scientifique. D'autres étaient ouvertes : le système devait développer lui-même une explication ou énumérer des options d'action.

Les résultats sont sévères. La moitié des réponses a été jugée problématique : 30% modérément et 20% gravement. Autrement dit, il ne s'agit pas seulement de petites maladresses de formulation. Certains conseils peuvent orienter l'utilisateur vers un traitement inefficace ou lui nuire s'il les suit sans médecin. Les modèles ont été particulièrement mauvais sur les questions ouvertes : lorsqu'ils devaient élaborer une recommandation plutôt que choisir parmi des options données, la part des réponses les plus risquées augmentait nettement.

Les services se distinguent, même si tous ont montré des failles en moyenne. Selon l'étude, Grok a le plus souvent livré les réponses les plus problématiques : 29 de ses 50 réponses, soit 58%, relevaient de la catégorie la plus grave. Gemini, à l'inverse, affiche la plus faible part de réponses très problématiques et le plus grand nombre de réponses sans problème apparent. Par thème, les chatbots s'en sont le mieux sortis sur les vaccins et le cancer, et le moins bien sur les cellules souches, la performance sportive et l'alimentation, c'est-à-dire là où le débat public regorge de promesses contestables, de pratiques alternatives et de conseils pseudoscientifiques.

Un autre problème tient non seulement au contenu, mais à la forme. Les auteurs notent que les réponses étaient presque toujours rédigées sur un ton assuré et rarement assorties de réserves ou d'avertissements. Sur 250 requêtes, les chatbots n'ont refusé de répondre que deux fois, et les deux refus venaient de Meta AI.

La qualité des références est faible : la complétude moyenne de la bibliographie atteignait environ 40%, et aucun service n'a fourni une liste de sources entièrement exacte, en partie à cause de citations inventées ou déformées. Par ailleurs, les textes étaient ardus pour le grand public et, par leur niveau de lecture, se rapprochaient plutôt d'un diplômé d'université que de quelqu'un qui veut simplement comprendre vite un symptôme ou une ordonnance.

Les auteurs soulignent qu'il ne s'agit pas d'une condamnation de l'usage de l'IA en médecine, ni de la preuve que les chatbots sont totalement inutiles. L'étude a ses limites : elle ne portait que sur cinq modèles, les a testés à un moment précis et a délibérément utilisé une partie des requêtes comme test de résistance pour faire ressortir les failles. Il ne faut donc pas appliquer mécaniquement ces 50% de réponses problématiques à n'importe quel échange quotidien avec une IA.

Mais l'enseignement le plus important est ailleurs : quand le sujet est controversé, émotionnel ou déjà saturé de mythes médicaux, le modèle produit aisément un texte convaincant sans base scientifique suffisante. Selon Gallup, au 15 avril 2026, 25% des Américains avaient déjà utilisé des outils d'IA pour obtenir des informations ou des conseils médicaux : il ne s'agit pas d'une habitude de niche, mais d'un comportement de masse.

La portée pratique de l'étude est assez simple. Un chatbot peut être utile comme guide rapide : expliquer un terme, aider à dresser une liste de questions pour le médecin ou suggérer ce qu'il faut encore vérifier. Mais il ne doit pas se substituer au diagnostic, au raisonnement clinique ni au choix du traitement. Pour les entreprises d'IA, c'est un signal pour renforcer les garde-fous, la vérification des références et les avertissements aux utilisateurs. Pour les utilisateurs, c'est un rappel : le ton assuré d'un modèle n'est pas un gage de fiabilité. Plus le coût de l'erreur est élevé, moins la machine a le droit d'improviser.

*Meta a été reconnue comme organisation extrémiste et est interdite en Russie.