CARing apprend aux LLM à prédire les diagnostics : R@30 atteint 46,52% sur MIMIC-IV

L'équipe à l'origine du preprint arXiv 2610.10641 propose CARing, un framework qui pousse un modèle de langage à ne pas prédire un seul diagnostic « le plus probable » pour la prochaine visite d'un patient, mais à couvrir l'ensemble des diagnostics qui peuvent être valides en même temps. Sur les jeux de données MIMIC-III et MIMIC-IV, le modèle dépasse toutes les solutions de référence entraînées sur des dossiers médicaux électroniques (EHR) en weighted F1, et affiche le meilleur top-k recall à chaque seuil annoncé. En mode raisonnement, le R@30 atteint 46,04% sur MIMIC-III et 46,52% sur MIMIC-IV.

Deux problèmes que les auteurs traitent simultanément

Le premier concerne l'apprentissage par renforcement. Le schéma RL standard des modèles de raisonnement récompense une trajectoire si la réponse finale est correcte. Cela fonctionne pour les tâches à résultat unique. Mais lors de la visite suivante, un patient peut avoir plusieurs diagnostics à la fois, et une récompense « un diagnostic par trajectoire » ne distingue pas le fait de retomber sur le même code de celui de couvrir des codes différents. La politique repère vite quelques diagnostics faciles à deviner et tourne autour. Le reste demeure hors champ.

Le second problème tient à la tokenisation. Le tokenizer classique d'un LLM découpe un code ICD en plusieurs tokens génériques, sans signification clinique. Pour produire un seul diagnostic, le modèle doit enchaîner plusieurs étapes de décodage, et raisonner sur un vaste vocabulaire de maladies avec un tel encodage est peu pratique.

Comment fonctionne CARing

Les auteurs représentent les diagnostics sous forme de Semantic IDs (SID) composites. D'abord, la sémantique des maladies, enrichie par une ontologie, est encodée en identifiants compacts par residual quantization. Ensuite, les tokens SID sont « ancrés » dans le langage naturel et dans le contexte longitudinal des EHR grâce à un multi-task alignment et à un entraînement sur des données de raisonnement. L'objectif est de préserver la transférabilité de la capacité de raisonnement du LLM, sans la perdre sur un vocabulaire spécialisé.

Pour la prédiction multi-label non ordonnée, deux mécanismes s'ajoutent : un coverage reward en RL et une multi-positive supervision. Le premier encourage les trajectoires qui élargissent l'ensemble des diagnostics couverts. La seconde prend en compte, lors de l'apprentissage supervisé, plusieurs étiquettes correctes à la fois.

À l'inférence, deux modes sont disponibles :

• un constrained decoding direct : la voie rapide, sans longs raisonnements ;
• un multi-chain reasoning avec rank fusion : plusieurs chaînes de raisonnement dont les résultats sont fusionnés en un classement unique des diagnostics.

Ce que montrent les chiffres

Les auteurs rapportent les résultats suivants :

• Benchmarks : MIMIC-III et MIMIC-IV.
• Weighted F1 : supérieur à tous les modèles de référence entraînés sur des EHR.
• Top-k recall : meilleur résultat à chaque seuil de coupure annoncé.
• R@30 en mode raisonnement : 46,04% sur MIMIC-III et 46,52% sur MIMIC-IV.

L'abstract du preprint ne détaille pas l'avance exacte de CARing sur ses concurrents en weighted F1 : il faudra consulter le texte intégral et les logs pour mesurer l'écart. La comparaison se limite aux modèles entraînés sur des EHR. La réserve est importante : il ne s'agit pas d'une confrontation avec des modèles frontier généralistes sans fine-tuning.

Où c'est utile, et où il est encore trop tôt

L'idée du coverage reward dépasse le cadre médical. Toute tâche où une même entrée admet plusieurs sorties correctes souffre du même effondrement de la récompense : systèmes de recommandation, extraction d'entités, classification multi-label de tickets, prédiction des appels d'outils par un agent. Si vous entraînez vous-même un modèle de raisonnement par RL, vérifiez que votre fonction de récompense ne favorise pas la répétition d'un même succès.

Les Semantic IDs obtenus par residual quantization constituent un second procédé transférable. Ils raccourcissent la sortie nécessaire par entité et donnent au modèle un vocabulaire doté d'une structure sémantique. Pour les équipes qui manipulent de grands référentiels fermés (codes, SKU, catalogues), c'est un moyen de ne plus lutter contre le tokenizer.

Ce travail est encore loin de la clinique. MIMIC regroupe des données de recherche issues d'un seul système de santé, et un R@30 d'environ 46% signifie que plus de la moitié des diagnostics pertinents ne figurent pas dans le top 30. Comme outil d'aide à la décision et comme base pour de futures expériences, CARing est intéressant. Comme produit clinique prêt à l'emploi, non. Les auteurs ont publié le code et les logs sur GitHub (zmlxzyh/CARing-Codes-Logs) : les résultats peuvent donc être revérifiés.