DecisionPivot a testé 40 modèles décideurs : à précision égale, jusqu'à 26 points d'écart

Si le modèle décideur de votre pipeline LLM affiche une précision élevée sur un test public, cela ne prouve pas qu'il prenne les bonnes décisions. Les auteurs de DecisionPivot ont construit un benchmark de 48 tâches et 40 033 items pour mettre cet écart en évidence. Deux modèles de 27B paramètres ne se distinguent que de 2,6 points sur le volet de référence, mais obtiennent 70,1 % et 44,2 % de précision sur les groupes contrastifs. L'écart atteint 25,9 points, et la métrique agrégée habituelle ne le voit pas.

Comment le benchmark est construit

DecisionPivot évalue les modèles chargés du routage des requêtes, des guardrails et de la vérification des sorties. Il distingue sept rôles de décision au total. Le benchmark se compose de deux volets.

Le volet principal comprend 7 800 items issus de 13 familles de tâches générées. Les items sont regroupés en groupes contrastifs : ce sont des variantes très proches d'une même tâche, où un détail clé change et où la bonne réponse change avec lui. Les réponses sont calculées par programme et vérifiées par des solveurs implémentés indépendamment. Le volet de référence rassemble 32 233 items issus de 35 jeux de tests publics et conserve leurs métriques d'origine.

• 48 tâches et 40 033 items, sept rôles de décision.
• 7 800 items dans le volet principal, 13 familles de tâches.
• 32 233 items dans le volet de référence, 35 jeux publics.
• 40 modèles décideurs et 14 modèles généralistes.
• Métriques : précision par item et par groupe contrastif, ordonnancement des probabilités, calibration, couverture sélective empirique.

Où les scores agrégés se brisent

Le principal résultat concerne les groupes contrastifs. Dans un tel groupe, le modèle n'est crédité que s'il répond correctement à toutes les variantes. La métrique repère donc les cas où le décideur réagit à des indices superficiels plutôt qu'au détail qui détermine la réponse. La paire de modèles de 27B, aux résultats quasi identiques sur le volet de référence, montre l'importance de ce point.

La deuxième découverte porte sur les probabilités. Sur 2 400 paires contrastives binaires, Perplexity Decider place l'item positif au-dessus de l'item négatif dans 92,3 % des cas. Mais il ne répond correctement aux deux items de la paire que dans 74,1 % des cas. Le modèle ordonne bien les variantes selon sa confiance, mais son seuil de décision se déclenche de façon imprécise. Pour les systèmes où la décision repose sur un seuil (laisser passer une requête ou la bloquer), c'est un point important.

Troisième observation : des modèles de précision similaire par item diffèrent par la fiabilité de leurs prédictions à haute confiance. Dans les scénarios sélectifs, où le système ne traite automatiquement que les cas à haute confiance et renvoie les autres à un humain, cette fiabilité détermine la part réelle d'erreurs dans le flux automatisé.

Les auteurs ont aussi vérifié l'effet du mode de raisonnement. Sur un sous-ensemble de 1 296 items, GLM-5.3 atteint 93,5 % de précision sur les groupes contrastifs avec un niveau de raisonnement élevé, contre 81,5 % avec un niveau minimal. Cet écart de 12 points est obtenu avec un seul et même modèle.

Comment exploiter ces résultats en pratique

Une équipe qui choisit un modèle pour le routage, la modération ou la vérification a intérêt à ajouter des tests contrastifs à son évaluation standard. Il s'agit de prendre un ensemble de paires proches, où un seul détail décisif change, et de calculer la part de paires résolues en entier. Il est aussi utile de mesurer séparément la calibration et la part d'erreurs parmi les prédictions à haute confiance : c'est elle qui détermine combien de décisions on peut confier à l'automatisme.

Il faut également fixer le mode de raisonnement lorsqu'on compare des modèles. Le résultat de GLM-5.3 montre qu'un même checkpoint peut se comporter différemment selon son réglage, et qu'une comparaison avec les réglages par défaut dit donc peu de choses sur le comportement en production. Les auteurs précisent avoir évalué les modèles selon des protocoles documentés, propres à chacun d'eux ; il est raisonnable de reprendre cette approche dans les tests internes.