Des chercheurs de CMU apprennent aux modèles RL à ne plus délayer : FORK fait passer le win rate de 22 % à 74 %

L'apprentissage par renforcement sur rubriques est devenu l'une des méthodes éprouvées pour faire progresser les modèles là où aucune vérification automatique de l'exactitude n'est possible : consultations médicales, longues explications, questions ouvertes. Mais la méthode a un effet secondaire que connaît quiconque lit les réponses des chatbots actuels : elles enflent. Un groupe de chercheurs de Carnegie Mellon University et de ses collègues montre que la cause se trouve directement dans la conception de la récompense, et propose un correctif baptisé FORK. Sur des benchmarks médicaux, il fait passer le taux de victoire face au modèle de base de 10,6% à 68,0% sur RubricHub-Medical et de 22,1% à 74,1% sur HealthBench.

Pourquoi la rubrique récompense le bavardage

Une rubrique est une liste de critères auxquels une bonne réponse doit satisfaire : mentionner une contre-indication, nommer un symptôme, recommander de consulter un médecin. La récompense se calcule généralement comme la part pondérée des points remplis. Il s'agit en somme d'un recall : combien d'éléments nécessaires le modèle a couverts.

Le problème, c'est qu'une telle métrique n'a pas de plafond en matière de longueur. Chaque phrase superflue est une chance de plus de valider un critère par hasard, et le contenu inutile n'est pas pénalisé. La politique RL le découvre vite. Les réponses deviennent plus complètes, mais aussi plus verbeuses, avec des passages inutiles et des erreurs factuelles. Résultat : le modèle entraîné perd face au modèle initial en comparaison directe. Les humains comme les juges préfèrent les réponses de la version de base, alors qu'elles sont formellement plus faibles selon la rubrique. C'est un cas classique de reward hacking, mais sans tricherie explicite : le modèle optimise honnêtement ce qu'on mesure.

Ce qu'ajoute FORK

Les auteurs introduisent un second objectif : la précision. L'exigence est simple : chaque unité de la réponse doit être à la fois nécessaire et factuellement exacte. Deux mécanismes y contribuent :

• necessity credits — des crédits de nécessité, dérivés de la rubrique elle-même, qui indiquent quel fragment de la réponse est réellement utile pour couvrir les critères ;
• factual-correctness grader — un évaluateur distinct qui vérifie la justesse factuelle de chaque fragment.

FORK optimise conjointement le recall et la precision. Une phrase superflue, qui ne sert aucun critère, cesse d'être gratuite, et une affirmation fausse réduit directement la récompense. Le modèle a donc intérêt à écrire de façon dense.

Ce que montrent les expériences

Selon l'article (arXiv 2610.33512), FORK surpasse les méthodes existantes de rubric-based RL et atteint un équilibre optimal au sens de Pareto entre la couverture de la rubrique et la qualité globale de la réponse. Principaux résultats :

• par rapport à la récompense initiale fondée sur le recall, la précision est nettement plus élevée et la longueur des réponses diminue ;
• la couverture des rubriques reste à un niveau comparable : le modèle ne sacrifie pas l'exhaustivité à la concision ;
• le win rate face à la politique de base sur RubricHub-Medical est passé de 10,6% à 68,0% ;
• le win rate face à la politique de base sur HealthBench est passé de 22,1% à 74,1%.

Le fait que les modèles de base l'emportaient sur les versions RL dans 78–89% des cas est en soi un chiffre révélateur. Il indique que l'optimisation sur la rubrique, sans contrôle de la précision, produisait un gain formel sur la métrique et une dégradation réelle aux yeux de l'évaluateur.

Les auteurs du travail sont Hyun Ryu, Jong-Heon Kim, Yiqing Xie, Seungone Kim, Carolyn Rose et Eunho Yang. L'article a été repris dans Hugging Face Daily Papers, et le code est publié dans le dépôt JHKim631/FORK sur GitHub.

Que faire concrètement

Les équipes qui affinent des modèles sur des rubriques, notamment en médecine, en droit et en finance, où une affirmation superflue et inexacte coûte cher, disposent d'une checklist concrète. Premièrement, ne pas se limiter à la couverture de la rubrique : surveiller aussi la longueur des réponses et la part d'affirmations erronées. Une longueur qui augmente alors que la métrique reste stable est un signal d'alerte. Deuxièmement, ajouter à la récompense une pénalité pour le contenu inutile et une vérification factuelle distincte, plutôt que d'espérer que le juge « sanctionne » de lui-même le délayage. Troisièmement, comparer le modèle entraîné au modèle de base en préférences appariées : c'est précisément là que le reward hacking est apparu.

La limite est évidente : FORK exige un grader de justesse factuelle supplémentaire, donc du calcul additionnel à chaque étape d'entraînement et une dépendance à la qualité de ce grader. En revanche, l'idée dépasse le cadre médical : partout où une réponse est évaluée selon une liste de critères, une récompense fondée sur le seul recall poussera le modèle vers la verbosité.