Les chatbots d'IA grand public se trompent dans plus de 80 % des diagnostics, selon une étude

Les bots d'IA grand public les plus populaires s'acquittent mal du rôle de diagnosticien numérique. Une étude montre que, lorsqu'ils tentent de poser un diagnostic médical à partir d'un ensemble limité de symptômes, ils se trompent dans plus de 80 % des cas.

Comment les bots ont été testés

Les chercheurs n'ont pas testé des systèmes médicaux spécialisés, mais des chatbots grand public, vers lesquels les utilisateurs se tournent pour obtenir une réponse rapide à n'importe quelle question. On leur a soumis des scénarios aux données incomplètes sur le patient, à peu près comme une personne décrit son état dans un premier message : sans analyses, sans examen et sans les questions de précision d'un médecin.

La tâche paraissait simple : associer des symptômes à une cause probable. Mais c'est précisément dans ce mode que le principal problème est apparu : une réponse assurée, cohérente et agréable dans la forme ne correspondait souvent pas à la conclusion cliniquement correcte.

Ce format est aussi très proche du comportement réel des utilisateurs. Rares sont ceux qui arrivent devant un bot avec un dossier médical bien tenu : il s'agit plus souvent de quelques phrases sur une douleur, la température, une faiblesse ou un symptôme inhabituel qu'on veut expliquer vite, sans prendre rendez-vous dans une clinique. Le test mesurait donc en pratique non la capacité abstraite du modèle à raisonner sur la médecine, mais son adéquation à un scénario du quotidien, où naît la tentation de remplacer la consultation d'un spécialiste par une réponse instantanée du chat.

D'où viennent les erreurs

Les modèles généralistes sont doués pour reformuler des informations générales, expliquer des termes et condenser des données en une réponse compacte. Le diagnostic médical fonctionne autrement : il faut gérer l'incertitude, écarter des options voisines, tenir compte de scénarios rares mais dangereux et parfois reconnaître honnêtement que les données manquent. Un bot grand public cherche plus souvent à conclure sa réponse par un texte d'apparence utile qu'à s'en tenir à une formulation prudente et à renvoyer la personne vers un spécialiste.

Autre problème : un chatbot grand public ne mène pas un véritable dialogue diagnostique. Il peut poser quelques questions de précision, mais il ne vérifie pas systématiquement ses hypothèses, ne confronte pas les réponses à des mesures objectives et n'assume aucune responsabilité clinique quant au résultat. Même quand le modèle devine la bonne direction générale, il laisse facilement passer des détails qui, pour un médecin, changent toute la conclusion : la durée des symptômes, les maladies associées, les médicaments, l'âge, les opérations récentes ou la dynamique de l'aggravation.

Le problème s'accentue quand les symptômes se recoupent entre des dizaines d'affections et que l'utilisateur les décrit de façon imprécise ou trop brève. Dans ces conditions, le modèle complète le tableau à partir d'un schéma type et comprime l'incertitude en une seule réponse assurée, alors qu'en pratique un médecin garderait plutôt plusieurs hypothèses et prescrirait des examens complémentaires. C'est ce qui rend l'erreur particulièrement difficile à repérer pour l'utilisateur.

Il en résulte des défaillances typiques :

• le bot confond des affections aux symptômes proches
• il sous-estime l'urgence de cas potentiellement dangereux
• il donne un seul diagnostic assuré là où il faudrait une liste d'hypothèses
• il ne sépare pas l'information de référence de la décision médicale

Pourquoi c'est dangereux

Le principal risque n'est pas que le bot se trompe parfois, mais qu'il le fasse de manière convaincante. Pour l'utilisateur, un ton calme et assuré peut passer pour un signe de compétence, alors que la réponse ne repose ni sur un examen, ni sur l'accès à un dossier médical, ni sur la vérification d'analyses. Une personne faussement rassurée peut repousser sa consultation, laisser passer une aggravation ou choisir les mauvaises actions dans les premières heures, quand la rapidité de réaction compte tout particulièrement.

Ce scénario est surtout dangereux lorsque les symptômes ressemblent à quelque chose d'anodin alors qu'ils exigent en réalité une évaluation urgente : par exemple une douleur intense, un essoufflement, des troubles neurologiques ou des signes d'infection. Dans ces cas, l'erreur n'est pas une simple formulation imprécise dans un chat, mais du temps perdu. Les bots grand public sont optimisés pour le confort de la conversation et le sentiment d'utilité, non pour un tri médical prudent, où il vaut mieux envoyer quelqu'un chez le médecin une fois de trop que manquer un signal critique.

Cela ne veut pas dire que l'IA est inutile en médecine. Ces systèmes peuvent aider à formuler des plaintes, expliquer le sens de termes, préparer des questions pour un rendez-vous ou rappeler quelles données rassembler avant une consultation. Mais comme outil de diagnostic, les chatbots grand public restent pour l'instant peu fiables, surtout quand l'information est maigre, les symptômes flous et le coût de l'erreur élevé. Dans ce rôle, mieux vaut les utiliser comme couche préparatoire et de référence avant de consulter un médecin, et non comme arbitre final.

Ce que cela signifie

La conclusion de l'étude est assez dure : on ne peut pas considérer les bots d'IA populaires comme un substitut au médecin, même s'ils trouvent vite l'information et s'expriment avec aplomb. Pour les utilisateurs, c'est la limite de la confiance ; pour les entreprises, un signal que les scénarios médicaux demandent un réglage ciblé, une validation par des spécialistes et une présentation très prudente des réponses.