Un modèle d'OpenAI surpasse les médecins en diagnostic, mais les scientifiques restent prudents

Pour la première fois, un modèle de langage d'OpenAI a surpassé des médecins en précision diagnostique sur des données réelles de service d'urgences. L'étude a été publiée le 30 avril dans la revue Science.

Ce que montre l'étude

Le modèle o1-preview d'OpenAI a analysé les dossiers médicaux de 76 cas réels dans un service d'urgences. À différentes étapes de la prise en charge (à l'admission, après l'examen du médecin, après le transfert vers un autre service), le modèle posait son diagnostic en parallèle de deux médecins. Et il tombait juste plus souvent : au point final, 82 % de diagnostics corrects, contre 79 % et 70 % pour les médecins.

Fait intéressant, humains comme modèle obtenaient de meilleurs résultats lorsque l'information était plus abondante. Mais l'IA a gardé l'avantage à toutes les étapes, même avec des données incomplètes.

• 82 % de précision diagnostique contre 79 % et 70 % pour les médecins
• Testé sur des dossiers réels des urgences
• Le modèle a analysé des ensembles complets de détails
• Ses résultats s'amélioraient à chaque nouvelle information

Mais les médecins restent prudents

Les auteurs eux-mêmes s'empressent de préciser : l'IA ne remplace pas les médecins. « Je ne pense pas que nos résultats signifient que l'IA va évincer les médecins », déclare le coauteur Arjun Manrai, de la Harvard Medical School. Son collègue Adam Rodman, enseignant en médecine à Boston, ajoute : « Les résultats sont super, ne vous méprenez pas, mais je suis un peu inquiet de la façon dont ils pourraient être utilisés. »

Le principal problème : il n'existe pas de standard unique pour évaluer les LLM sur des tâches médicales. Certains chercheurs jugent que c'est un succès si le modèle a cité 5 diagnostics possibles sur 7. D'autres y voient un échec total. Un même résultat est jugé de manières différentes.

Le problème de la fiabilité des chatbots

Des études parallèles montrent que les chatbots inventent souvent des réponses aux questions médicales. Près de la moitié des réponses contiennent des erreurs : sources inventées, conseils imprécis, mensonges assénés avec aplomb. Le modèle paraît tout aussi convaincant, qu'il ait raison ou non.

«

Ces modèles sont utilisés tous les jours, et il existe un certain risque que personne ne mesure ni ne réduit », — Arya Rao, Harvard

Pour le médecin, la tâche est plus ardue : quand le modèle donne un avis, le docteur doit vite déterminer s'il est juste ou s'il s'agit d'une hallucination. Un médecin saura certes mieux quelles informations comptent. Mais repérer un mensonge dans une réponse convaincante reste un défi.

Ce que cela signifie

OpenAI a déjà lancé ChatGPT pour les médecins et pour la santé. La technologie avance plus vite que la médecine ne parvient à la réglementer et à la tester. Il faut de vrais essais cliniques et des processus de travail clairs, où le médecin utilise l'IA comme aide lors des concertations, et non comme réponse définitive.

La vitesse d'innovation compte, mais la responsabilité est encore plus nécessaire.