DeCert apprend aux juges IA à justifier leurs verdicts : 76,2 sur RM-Bench avec un modèle 8B

Un reward model génératif est un LLM qui compare deux réponses, explique en langage naturel laquelle est la meilleure et rend un verdict. Ces modèles juges sont au cœur des pipelines RLHF et de l'évaluation automatique. Ils ont pourtant un point faible : un verdict correct ne garantit pas un raisonnement correct. Le modèle a pu deviner, s'appuyer sur un détail sans importance ou écrire une justification qui ne mène même pas à sa conclusion. L'équipe de Guiquan Sun, Bing Bai, Martin Renqiang Min et Dongjin Song propose DeCert, un framework qui entraîne les juges à rédiger des justifications convaincantes, et ce sans explications de référence. Le modèle 8B DeCert-Qwen3-8B obtient 76,2 sur RM-Bench et 52,0 sur JudgeBench.

Pourquoi un verdict correct est un faible signal d'entraînement

Le schéma d'entraînement standard d'un juge est simple : on échantillonne plusieurs jugements et on récompense ceux dont le verdict coïncide avec l'annotation. Mais deux jugements qui rendent le même verdict correct peuvent différer fortement en qualité. L'un analyse les faits et la logique de la réponse, l'autre se contente de généralités. Pour le schéma classique, ils se valent, et le modèle ne reçoit aucun signal lui indiquant lequel est meilleur.

Certaines approches existantes traitent ce problème avec des explications de référence : la justification du juge est comparée à un étalon. Les auteurs relèvent deux problèmes. D'une part, ces étalons coûtent cher à obtenir. D'autre part, la concordance avec la référence ne prouve pas que la justification générée soutient réellement le verdict rendu.

Comment DeCert évalue le « certificat de décision »

DeCert examine la justification elle-même : sa validité et sa cohérence avec le verdict. Ces évaluations sont converties en un signal d'entraînement par préférences, qui tient compte à la fois de l'exactitude du verdict et de la qualité de l'argumentation. La justification est notée selon trois axes :

• soundness : la justesse et le bien-fondé des arguments avancés ;
• coverage : l'exhaustivité, c'est-à-dire la prise en compte des aspects essentiels des réponses comparées ;
• decision support : la capacité de la justification à mener réellement au verdict rendu.

L'idée clé concerne le cas où plusieurs échantillons donnent un même verdict correct. Auparavant, il fallait les considérer comme équivalents. Désormais, l'écart de qualité du « certificat » permet de construire des paires de préférences au niveau des justifications : la solide contre la faible. Le modèle apprend ainsi à distinguer une bonne explication d'une explication formellement correcte mais creuse.

Les chiffres et la robustesse à l'ordre des réponses

La méthode a été testée sur deux familles de modèles 8B et plusieurs benchmarks, en in-distribution comme en out-of-distribution. Selon les auteurs, DeCert surpasse de façon constante de solides juges génératifs de référence tout en améliorant la qualité des justifications. Principaux résultats :

• DeCert-Qwen3-8B : 76,2 sur RM-Bench ;
• DeCert-Qwen3-8B : 52,0 sur JudgeBench ;
• gain de position-consistent accuracy : jusqu'à +14,8 points ;
• amélioration de trois indicateurs : la précision des jugements, la qualité des justifications et la robustesse positionnelle.

Cette dernière métrique mérite une attention particulière. Le biais de position est un travers connu des LLM juges : le verdict dépend du rang dans lequel la réponse est présentée, et non de sa qualité. La position-consistent accuracy ne compte un succès que si le modèle choisit la bonne réponse dans les deux ordres de présentation. Un gain pouvant atteindre 14,8 points montre que l'exigence de qualité sur la justification réduit aussi ce type d'artefacts. Un juge contraint d'expliquer pourquoi une réponse est meilleure s'appuie moins souvent sur un signal aléatoire comme la position.

Ce que les équipes peuvent en retenir

Le code est publié sur GitHub dans le dépôt UConn-DSIS/DeCert, et l'article est disponible sur arXiv sous le numéro 2610.27528. L'idée s'applique directement aux équipes qui construisent des systèmes LLM-as-a-judge ou entraînent des reward models pour le RLHF et le RLAIF.

Si le juge doit fournir non seulement des notes mais aussi des explications lisibles (pour auditer des datasets, déboguer des agents, annoter des données), il vaut la peine de fixer dans l'entraînement un objectif distinct sur la qualité du raisonnement, plutôt que de se limiter à la concordance du verdict. Lorsqu'on échantillonne plusieurs jugements par exemple, il est utile d'analyser aussi ceux dont les verdicts sont identiques : c'est là que se cache le signal sur la qualité du raisonnement. Il faut enfin mesurer séparément la position-consistent accuracy, et pas seulement la précision classique : elle indique dans quelle mesure on peut se fier au juge.

Les limites sont également visibles : les modèles des auteurs sont de petite taille, 8B, et la question du passage à l'échelle reste à vérifier. Mais la possibilité d'améliorer des juges sans explications de référence coûteuses rend la méthode intéressante pour quiconque veut des évaluations de réponses de LLM fiables et explicables.