ChatGPT a trouvé le bon diagnostic dans les cinq cas médicaux, mais a pris du retard sur le plan d'action

L'expérience partait du principe que ChatGPT commettrait au moins une erreur de diagnostic. Elle s'est conclue sur un résultat inattendu pour les auteurs : le modèle a correctement identifié le diagnostic principal dans les cinq cas médicaux. Mais réussir la formulation du diagnostic ne s'est pas traduit par une victoire globale dans la comparaison clinique. L'écart le plus visible est apparu ensuite, dans le plan d'action pratique qui suit la réponse : quels examens sont nécessaires avant de débuter le traitement, vers quels spécialistes orienter le patient, quelles valeurs cibles surveiller et quand refaire les analyses. C'est à cette étape que ChatGPT a le plus souvent été devancé par le service spécialisé MedAssist.

La comparaison portait sur cinq cas : syndrome métabolique, hypothyroïdie subclinique, périménopause, MGUS et rhabdomyolyse induite par les statines. Dans tous les cas, ChatGPT a trouvé le diagnostic principal, ce qui est déjà notable pour un LLM généraliste. Les auteurs reconnaissent qu'avant l'essai, ils s'attendaient à au moins une erreur grave, mais celle-ci n'est pas survenue.

Cependant, en médecine, le diagnostic n'est qu'une partie de la tâche. L'étape suivante compte tout autant : peut-on commencer le traitement sans danger, quels signaux d'alerte vérifier au préalable et quels tests complémentaires sont nécessaires pour ne pas passer à côté de contre-indications ou de risques associés. C'est là que l'écart entre les modèles est devenu systématique.

Sur les quatre cas planifiés, ChatGPT a moins bien répondu à la question de ce que le patient doit faire dans les deux semaines à venir. Il ne s'agissait pas d'une belle formulation, mais d'une logique clinique appliquée : par exemple, rappeler le PSA avant un traitement substitutif à la testostérone, la mammographie avant un traitement hormonal de la ménopause, les niveaux cibles des indicateurs et les délais de recontrôle. Dans le cas de la rhabdomyolyse, l'interprétation du rapport ASAT/ALAT s'est aussi révélée importante, un détail qui influe sur la compréhension des causes des anomalies des analyses et sur la conduite à tenir ensuite.

Mais la comparaison a aussi fourni un contre-exemple. Dans le cas de la MGUS, la gammapathie monoclonale de signification indéterminée, c'est MedAssist qui s'est montré plus faible. ChatGPT a explicitement calculé le rapport albumine/globuline et listé séparément les examens de confirmation à prévoir en adressant le patient à un hématologue. Les auteurs écrivent sans détour que leur service n'a fait ni l'un ni l'autre, et c'est précisément pour cela que l'analyse de ce cas est la plus détaillée. Un tel épisode compte non seulement comme une défaite locale, mais aussi comme un rappel : un produit spécialisé n'a pas d'avantage automatique du seul fait d'avoir été conçu pour une tâche étroite.

Par ailleurs, les auteurs signalent un possible conflit d'intérêts : le texte a été rédigé par l'équipe qui développe MedAssist, l'un des deux participants à la comparaison. Ils ne cherchent pas à le cacher et affirment avoir fixé la méthodologie à l'avance, publié mot pour mot les réponses des deux services et analysé en détail leur propre cas raté, plutôt que de l'évoquer en passant. Cela ne dissipe pas les questions sur la neutralité totale, mais rend le document plus utile qu'une démonstration marketing classique, où l'on ne montre que les exemples avantageux.

Pour le lecteur, ce qui compte le plus n'est pas le score par cas, mais la transparence sur les points forts des modèles et sur le moment où ils commencent à se tromper dans les décisions appliquées.

La principale conclusion de ce test est plutôt terre à terre : les grands modèles de langage peuvent déjà trouver le bon diagnostic de façon stable, même dans des cas complexes, mais la qualité d'une réponse médicale ne se juge pas uniquement à sa première ligne. Si le système nomme correctement l'affection, mais n'indique pas les examens obligatoires avant le traitement, ne trace pas le parcours vers le bon spécialiste et ne précise pas les délais de suivi, le risque d'erreur ne disparaît pas. Pour les développeurs de services d'IA médicale, c'est un signal pour déplacer l'attention des diagnostics spectaculaires vers le scénario complet de prise en charge du patient.

Et pour les utilisateurs, un rappel que la valeur de ces systèmes ne tient pas seulement à la précision de la reconnaissance, mais aussi à la sécurité de l'étape suivante.