Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarMIT News→ original

Une IA a lu près de 4000 articles médicaux : le code n'est ouvert que dans 1 travail sur 8

Un lien « code disponible » dans un article médical ne signifie pas que le code peut être exécuté. À l'aide de LLM, une équipe du MIT et de Dana-Farber a lu près de 4000 travaux sur des modèles d'estimation du risque de maladie. Elle n'a trouvé de code ouvert que dans environ un article sur huit. Les chercheurs ont ensuite examiné des centaines de dépôts : certains sont accompagnés d'instructions détaillées, d'autres presque d'aucune. Conclusion pratique : le README, la liste des dépendances et la licence comptent autant que le code lui-même.

Traité par IA depuis MIT News ; édité par Hamidun News
Une IA a lu près de 4000 articles médicaux : le code n'est ouvert que dans 1 travail sur 8
Source : MIT News. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMIT News ↗
Rédacteur en chef
Chiffre clé #1Part des articles avec code selon les revues : de 0 à plus de 70%
Chiffre clé #2Certains auteurs ont publié des données synthétiques à la place des dossiers de patients
Chiffre clé #3Des humains ont contrôlé les LLM sur 500 articles : les résultats sont plus fiables pour les licences que pour la documentation

Quiconque a déjà tenté d'exécuter le code d'un article scientifique connaît la situation : le lien GitHub est là, mais rien ne fonctionne. Pas de liste de dépendances, on ne sait pas quelles données fournir en entrée, et la licence est absente. Une équipe internationale dirigée par le MIT et le Dana-Farber Cancer Institute a mesuré l'ampleur du problème en médecine.

À l'aide de grands modèles de langage (LLM), elle a lu près de 4000 articles consacrés aux modèles cliniques de pronostic, c'est-à-dire des algorithmes qui estiment, par exemple, le risque qu'un patient développe une maladie. Résultat : seul environ 1 travail sur 8 déclare avoir publié son code, soit à peu près 12%. Pour un développeur, le message est simple : « code publié » et « code que l'on peut exécuter et vérifier » sont deux choses différentes, et en médecine, des décisions de traitement dépendent de cet écart.

Comment les LLM ont lu quatre mille articles

Les auteurs ont sélectionné des travaux dans lesquels des modèles cliniques de pronostic étaient développés, mis à jour ou validés. Ils ont retenu les articles qui se réfèrent aux check-lists TRIPOD ou TRIPOD+AI (des listes de ce qu'il faut décrire lors de la publication d'un tel modèle) et qui sont accessibles dans la collection ouverte PubMed Central. Les résultats de l'étude sont publiés dans Nature Medicine, et ses conclusions serviront de base aux recommandations TRIPOD-Code, actuellement en cours d'élaboration.

Première difficulté : les auteurs mentionnent leur code de manières très différentes. Certains en parlent dans la section méthodes, d'autres en note de bas de page, d'autres encore à la fin de l'article. Comme l'explique le premier auteur, Thomas Sounack, il fallait d'abord déterminer si l'auteur avait partagé son code, tout simplement. Il n'existe pas de tableau prêt à l'emploi pour cela, seulement du texte dispersé. Les LLM ont donc trié les articles, repéré les phrases sur la disponibilité du code et extrait les liens. Ensuite, un logiciel classique a téléchargé les dépôts, qui ont été évalués selon un ensemble de critères : exhaustivité de la documentation, description des exigences de l'environnement logiciel, conditions de réutilisation.

Les résultats des LLM ont été vérifiés par des humains. Deux chercheurs ont examiné indépendamment 500 articles et un échantillon distinct de dépôts, discuté de leurs divergences, puis seulement comparé leurs évaluations à celles de l'automate. La concordance est la meilleure sur les critères concrets, comme la présence d'un fichier de licence. Elle est plus faible là où un jugement subjectif est nécessaire : la documentation est-elle suffisamment détaillée ? Les auteurs soulignent que des erreurs de classification sont possibles ; il faut donc regarder le tableau d'ensemble plutôt que chaque chiffre.

Ce que l'étude a trouvé

  • Le code n'a été publié que dans environ 1 étude sur 8.
  • Le contenu des dépôts varie fortement. Certains étaient, selon Sounack, « extrêmement bien organisés et documentés », d'autres n'offraient presque aucune explication.
  • La part des articles avec code varie de zéro à plus de 70% selon les revues. Des différences entre pays sont également visibles.
  • Certaines revues où la part de code publié est faible disposaient pourtant d'une politique écrite sur la publication du code. Des règles seules ne suffisent donc pas à motiver les auteurs.

Parmi les bonnes pratiques, les chercheurs citent les jeux de données synthétiques. Lorsqu'il est impossible de publier de vrais dossiers de patients, des auteurs ont mis en ligne des données artificielles de même structure, afin que le code puisse être exécuté et que l'on comprenne son fonctionnement.

À quoi cela sert aux praticiens

Voici le minimum dont une autre personne a besoin pour reproduire un résultat : une description de ce que fait le code, des instructions de lancement, une liste de dépendances, une licence et, si possible, des données de test. Pour Sounack, bien partager son code, c'est « fournir assez d'informations pour comprendre ce que fait le code et l'exécuter en reproduisant les résultats de l'article ». Si les données sources sont fermées, un jeu synthétique reste un compromis viable. Il sera également utile dans les projets d'entreprise, où les données des clients ne peuvent pas être transmises à des sous-traitants.

Il y a un second enseignement : la façon dont les LLM ont été utilisés. Le modèle n'a pas rendu de jugement définitif. Il a fait le travail préparatoire sur un texte dispersé, puis des humains ont vérifié un échantillon, et la précision a été évaluée séparément pour les critères simples et les critères complexes. Cette approche est transposable à l'audit de dépôts ou à l'analyse de documents. Les LLM détectent de manière fiable des critères simples comme « y a-t-il une licence ? », mais des jugements comme « la documentation est-elle suffisamment détaillée ? » restent du ressort d'un humain.

Il faut aussi tenir compte des limites. L'échantillon ne comprend que des articles dont le texte intégral est en accès libre dans PubMed Central, et les évaluations subjectives de la documentation produisent davantage de divergences.

L'étape suivante est TRIPOD-Code. Par une discussion entre experts, l'équipe détermine quels éléments du code doivent être obligatoires. Selon Tom Pollard, du MIT, l'objectif est de donner aux chercheurs des conseils pratiques et aux revues des exigences plus claires à l'égard des auteurs. Cette analyse en fournit la base factuelle.

Dossier

Questions clés sur cet article

Comment les LLM ont lu quatre mille articles?

Les auteurs ont sélectionné des travaux dans lesquels des modèles cliniques de pronostic étaient développés, mis à jour ou validés. Ils ont retenu les articles qui se réfèrent aux check-lists TRIPOD ou TRIPOD+AI (des listes de ce qu'il faut décrire lors de la publication d'un tel modèle) et qui sont accessibles dans la collection ouverte PubMed Central.

Que sait-on sur Ce que l'étude a trouvé ?

Le code n'a été publié que dans environ 1 étude sur 8. Le contenu des dépôts varie fortement. Certains étaient, selon Sounack, « extrêmement bien organisés et documentés », d'autres n'offraient presque aucune explication. La part des articles avec code varie de zéro à plus de 70% selon les revues. Des différences entre pays sont également visibles. Certaines revues où la part de code publié est faible disposaient pourtant d'une politique écrite sur la publication du code.

Que sait-on sur à quoi cela sert aux praticiens ?

Voici le minimum dont une autre personne a besoin pour reproduire un résultat : une description de ce que fait le code, des instructions de lancement, une liste de dépendances, une licence et, si possible, des données de test. Pour Sounack, bien partager son code, c'est « fournir assez d'informations pour comprendre ce que fait le code et l'exécuter en reproduisant les résultats de l'article ». Si les données sources sont fermées, un jeu synthétique reste un compromis viable.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…