Le MIT développe une IA de diagnostic « humble » qui affiche honnêtement ses doutes

Des chercheurs du MIT proposent une nouvelle approche de l'IA médicale : un système de diagnostic clinique ne doit pas jouer au je-sais-tout, mais montrer ouvertement quand il manque de données. Plutôt qu'un « oracle », l'équipe veut faire du modèle un partenaire du médecin, qui aide à réunir les informations manquantes et n'impose pas une réponse péremptoire.

Pourquoi c'est nécessaire

Les systèmes d'IA promettent depuis longtemps d'accélérer le diagnostic et d'aider à choisir les traitements, mais en clinique ils présentent une faiblesse dangereuse : ils paraissent souvent trop sûrs d'eux, même lorsqu'ils se trompent. L'équipe du MIT cite des études antérieures où des médecins de soins intensifs penchaient pour le conseil d'un algorithme s'ils le jugeaient fiable, même quand leur propre intuition suggérait le contraire. La même logique vaut pour les patients : un ton autoritaire renforce la confiance, y compris envers une recommandation erronée.

Le problème ne tient pas seulement à la précision des modèles, mais aussi à la manière dont ils présentent leur réponse. Si un système livre un diagnostic comme une vérité définitive avec un contexte incomplet, le médecin reçoit un faux sentiment de certitude. Aux urgences et en réanimation, c'est particulièrement risqué : les décisions y sont souvent prises vite, et le prix de l'erreur est élevé. Les chercheurs proposent donc d'apprendre au modèle non seulement à répondre, mais à signaler explicitement les limites de sa confiance.

Comment fonctionne l'approche

L'équipe décrit un cadre qui peut s'intégrer aux systèmes d'aide à la décision clinique existants. Son premier module oblige le modèle à évaluer sa propre confiance avant de produire un pronostic diagnostique. Pour cela, les chercheurs utilisent un indicateur appelé Epistemic Virtue Score, mis au point avec des scientifiques de l'Université de Melbourne. Il s'agit en somme d'un test de conscience de soi : la confiance du modèle doit correspondre à la complexité du cas et au volume de données disponibles.

Si le système constate que sa confiance dépasse ce que permettent les preuves, il ne doit pas forcer sa conclusion, mais changer de comportement :

• signaler l'écart entre la confiance et la qualité des données
• demander des analyses précises, des détails sur les antécédents ou les éléments manquants
• proposer l'avis d'un spécialiste du domaine
• indiquer quelles informations aideraient à lever l'incertitude
• avertir que la réponse actuelle appelle une interprétation prudente

«

Aujourd'hui, nous utilisons l'IA comme un oracle, mais elle peut devenir un coach et un véritable copilote », déclare Leo Anthony Celi.

L'équipe de Celi a déjà participé à la création de grands jeux de données pour l'IA médicale, dont la base MIMIC. Les chercheurs tentent maintenant d'intégrer la nouvelle approche aux systèmes qui s'appuient sur ces données et de la présenter aux cliniciens du réseau Beth Israel Lahey Health. Selon eux, la même approche peut s'appliquer non seulement aux assistants de diagnostic textuels, mais aussi aux systèmes d'analyse de radiographies ou de choix de stratégie thérapeutique aux urgences.

Le problème des données

Le travail sur l'IA « humble » s'inscrit dans un programme plus vaste du MIT visant à créer des modèles médicaux conçus non seulement pour les gens, mais avec eux. Les chercheurs soulignent à part le risque de biais dans les données : de nombreux modèles populaires sont entraînés sur des jeux de données publics américains et héritent inévitablement d'une certaine vision des maladies, des traitements et de l'organisation des soins. Ce qui est bien décrit dans un système de santé peut fonctionner moins bien dans un autre, ou exclure discrètement des groupes entiers de patients.

Il existe aussi un problème plus terre à terre : les dossiers médicaux électroniques n'ont pas été conçus à l'origine comme une source idéale pour entraîner des modèles de diagnostic. Il leur manque souvent le contexte que le médecin tire de la conversation, de l'observation ou de l'expérience. En outre, une partie des patients n'apparaît tout simplement pas dans ces jeux de données en raison d'un accès limité aux soins, par exemple les habitants des zones rurales. Lors des ateliers MIT Critical Data, chercheurs, médecins, sociologues et patients vérifient ensemble qui manque dans un jeu de données et quels biais structurels le modèle risque de figer.

Ce que cela signifie

La prochaine étape de l'IA médicale ne consiste pas seulement à gratter encore quelques points de pourcentage de précision dans les benchmarks, mais à savoir douter au bon moment. Si cette approche arrive dans de vraies cliniques, la valeur du modèle ne résidera pas dans le remplacement du médecin, mais dans un travail plus transparent, prudent et collaboratif avec lui.