Les chatbots AI populaires se trompent sur les diagnostics dans plus de 80 % des cas, selon une étude

Les chatbots IA grand public populaires se débrouillent mal dans le rôle de diagnosticiens numériques. Une étude a montré que lorsqu'ils tentent de faire des diagnostics médicaux basés sur un ensemble limité de symptômes, ils se trompent dans plus de 80% des cas.

Comment les bots ont été testés

Les chercheurs ont testé non des systèmes médicaux spécialisés, mais des chatbots grand public auxquels les utilisateurs se tournent pour obtenir des réponses rapides à toute question. On leur a présenté des scénarios avec des données incomplètes sur le patient — à peu près comme une personne décrit son état dans son premier message, sans tests, sans examen physique ni questions de suivi d'un médecin. La tâche semblait simple : associer les symptômes à une cause probable. Mais c'est précisément là que le problème principal s'est révélé : une réponse confiante, cohérente et convenablement formatée ne correspondait souvent pas aux conclusions cliniquement correctes.

Il est aussi important que ce format reflète très étroitement le comportement réel des utilisateurs. Les gens se présentent rarement à un bot avec des dossiers médicaux soigneusement organisés ; c'est plutôt quelques phrases sur la douleur, la fièvre, la faiblesse ou un symptôme inhabituel qu'ils veulent rapidement expliquer sans prendre rendez-vous à la clinique. Donc le test vérifiait essentiellement non pas une capacité abstraite du modèle à raisonner sur la médecine, mais son adéquation dans un scénario quotidien où il existe une tentation de remplacer une consultation spécialisée par une réponse instantanée du chat.

D'où viennent les erreurs

Les modèles universels sont bons pour résumer les informations générales, expliquer la terminologie et compiler les informations en une réponse compacte. Mais le diagnostic médical fonctionne différemment : il faut travailler avec l'incertitude, éliminer des possibilités similaires, tenir compte des scénarios rares mais dangereux et parfois dire honnêtement qu'il n'y a pas assez de données.

Un bot grand public tend à essayer de compléter une demande par une réponse utile en apparence plutôt que de s'arrêter sur une formulation sûre et de renvoyer la personne à un spécialiste. Un problème supplémentaire est que le chatbot grand public ne mène pas un véritable dialogue diagnostique. Il peut poser un couple de questions de clarification, mais ne construit pas de test systématique d'hypothèses, ne corrèle pas les réponses avec des mesures objectives et ne porte pas de responsabilité clinique sur le résultat.

Même si le modèle devine la direction générale, il manque facilement les détails qui pour un médecin changent toute la conclusion : la durée des symptômes, les comorbidités, les médicaments, l'âge, les chirurgies récentes ou le schéma de dégradation. Le problème est aggravé lorsque les symptômes se chevauchent dans des dizaines d'états et que l'utilisateur les décrit de manière imprécise ou trop brièvement.

Dans ces conditions, le modèle commence à remplir le tableau par le modèle et compresse l'incertitude en une réponse confiante, alors que dans la pratique réelle un médecin garderait probablement plusieurs versions ouvertes et ordonnerait des tests supplémentaires. C'est ce qui rend l'erreur particulièrement inaperçue par l'utilisateur.

En conséquence, des défaillances typiques se produisent :

• le bot confond les états avec des symptômes similaires
• minimise l'urgence des cas potentiellement dangereux
• fournit un diagnostic confiant où une liste de possibilités est nécessaire
• ne sépare pas les informations de référence de la prise de décision médicale

Pourquoi c'est dangereux

Le risque principal n'est pas que le bot fasse parfois des erreurs, mais qu'il les fasse de manière convaincante. Pour un utilisateur, un ton calme et confiant peut sembler être un signe de compétence, bien qu'il n'y ait ni examen physique, ni accès aux antécédents médicaux, ni vérification des analyses derrière la réponse.

Si une personne reçoit une fausse tranquillité, elle peut reporter une visite chez le médecin, rater une dégradation de son état ou choisir les mauvaises actions dans les premières heures quand la vitesse de réaction est particulièrement importante. Ce scénario est particulièrement dangereux là où les symptômes ressemblent à quelque chose d'inoffensif mais nécessitent en réalité une évaluation urgente : par exemple, une douleur intense, un essoufflement, des troubles neurologiques ou des signes d'infection. Dans de tels cas, une erreur n'est pas juste une formulation imprécise du chat, mais du temps perdu.

Les bots grand public sont optimisés pour le confort de la conversation et la sensation d'utilité, pas pour le triage médical conservateur où il est préférable de renvoyer quelqu'un chez un médecin une fois de plus que de manquer un signal critique. Cela ne signifie pas que l'IA est inutile en médecine. De tels systèmes peuvent aider à formuler des plaintes, expliquer la terminologie, rassembler des questions pour une consultation ou rappeler quelles informations préparer avant une consultation. Mais comme outil de diagnostic, les chatbots grand public sont pour l'instant peu fiables, particulièrement quand l'information est rare, les symptômes sont vagues et le coût de l'erreur est élevé.

Dans ce rôle, il est plus judicieux de les utiliser comme une couche préparatoire et de référence avant de voir un médecin, plutôt que comme arbitre final.

Ce que cela signifie

La conclusion de l'étude est assez tranchée : les bots IA populaires ne peuvent pas être perçus comme un remplacement d'un médecin, même s'ils trouvent rapidement des informations et parlent avec assurance. Pour les utilisateurs, c'est une ligne de confiance ; pour les entreprises, c'est un signal que les scénarios médicaux nécessitent un ajustement spécialisé, une vérification par des spécialistes et une présentation très prudente des réponses.