Artificial Analysis lance Decision Index : Jev 1.13 en tête avec 58 points

Artificial Analysis a lancé le 13 octobre 2026 Decision Index v1.0, un benchmark pour les modèles de décision. Cette catégorie regroupe les modèles qui choisissent, en un seul appel, une réponse dans une liste donnée et fournissent une probabilité pour chaque option. Jev 1.13 prend la première place avec 58 points, tandis que GLiDE de Fastino Labs et Microsoft-Decision-1 en obtiennent 54 chacun. Parmi les modèles de langage, Claude Haiku 5.5 (Low) fait mieux avec 61 points, mais il est 11 fois plus lent et 4,4 fois plus cher.

Ce que mesure l'indice

Pour Artificial Analysis, un modèle de décision se distingue d'un LLM par son mode de fonctionnement. Il ne génère pas de longs raisonnements : il résout une tâche structurée, du type « vers quelle équipe orienter cette demande », « est-ce urgent » ou « à quel point le client est-il irrité ». Le modèle répond en une seule passe et attribue une probabilité à chaque option. Ces systèmes sont donc moins coûteux et plus rapides, et leur calibration peut être vérifiée directement. Pour les LLM, le service s'appuie dans les mêmes tests sur une réponse structurée, sans probabilités par option.

L'indice repose sur quatre évaluations, pesant 25% chacune :

• AA-Omniscience-Decision : 500 questions fermées à cinq options (quatre réponses et « je ne sais pas »). La précision et le taux de non-hallucination pèsent chacun 12,5%.
• HLE-MultiChoice : 513 questions textuelles à choix multiples issues de Humanity's Last Exam.
• When2Call : un test de NVIDIA sur le tool calling. Le modèle décide s'il doit répondre directement, appeler un outil, demander des précisions ou reconnaître qu'il ne peut pas répondre.
• WildGuardTest : un jeu de données d'Ai2 pour la classification de sécurité. Il s'agit de déterminer si une requête est nocive, si la réponse est un refus et si elle est nocive.

Qui est en tête et à quel prix

Jev 1.13 l'emporte grâce au raisonnement : sur HLE-MultiChoice, il obtient 21 points, contre 15 ou moins pour les autres modèles de décision. Sur AA-Omniscience-Decision, la précision de Jev s'élève à 35, le meilleur résultat revenant à d1 de Liquid AI (41). En revanche, d1 sait à peine dire « je ne sais pas » : son taux de non-hallucination est de 2. Sur When2Call, Jev marque 81 et se classe quatrième, Celeris-1 Decision et GLiDE obtenant 84 chacun. Sur WildGuardTest, Jev obtient 94, comme Perplexity Decider v1.1 27B, et GLiDE le devance d'un point.

Le coût par million de tâches des modèles de décision va de $17 à $199, et le temps médian par tâche de 0,06 à 0,5 seconde. Decider v1.1 27B est le moins cher ($17). Sur la frontière de Pareto du rapport qualité-prix figurent aussi Microsoft-Decision-1 ($31) et Jev 1.13 ($42). Avec les mêmes 54 points que Microsoft, GLiDE coûte $119, soit environ trois fois plus que Jev. Celeris-1 Decision est le plus rapide, à 0,06 s par tâche ; Jev traite une tâche en 0,13 s.

Le tableau est contrasté face aux modèles de langage. GPT-6 Luna (Low) obtient 55 points en 1,5 s pour $131. Claude Haiku 5.5 (Low) en obtient 61 en 1,4 s pour $184. Sur les connaissances, les LLM sont nettement devant : la précision sur AA-Omniscience-Decision atteint 52 pour Haiku et 66 pour Luna, contre 28 à 41 pour les modèles de décision. Sur HLE-MultiChoice, ils marquent 24 et 22, contre 21 pour Jev. En classification et en tool calling, les meilleurs modèles de décision ne sont pas en reste : sur WildGuardTest, GLiDE obtient 95 contre 93 pour Haiku et 89 pour Luna ; sur When2Call, GLiDE et Celeris font 84 contre 77 pour Luna et 73 pour Haiku.

Une confiance sans fondement

Le principal reproche des auteurs aux modèles de décision porte sur la calibration. Sur presque tous les niveaux de probabilité, la précision réelle est inférieure à celle annoncée, et ce pour tous les modèles testés. C'est le plus marqué sur les connaissances et le raisonnement (AA-Omniscience-Decision et HLE-MultiChoice). Sur When2Call et WildGuardTest, la calibration est globalement correcte. L'indice n'affiche pas encore la calibration des LLM ; elle est promise pour plus tard.

La capacité à s'abstenir a fait l'objet d'un test distinct. Le meilleur taux de non-hallucination revient à Microsoft-Decision-1 (40%), suivi de Jev 1.13 (35%) et de Mercury Decide (32%). Aucun autre modèle de décision n'atteint 17%.

À quoi cela sert en pratique

Pour le routage des demandes, la modération et le choix d'outils dans les chaînes d'agents, un modèle de décision situé sur la frontière de Pareto, par exemple Jev 1.13 ou Microsoft-Decision-1, offre une qualité de niveau LLM pour un coût et une latence bien inférieurs. Pour les questions factuelles et les raisonnements complexes, les probabilités de ces modèles ne peuvent pas être considérées comme une estimation fiable du risque : le seuil de confiance doit donc être calibré sur vos propres données.

Si une erreur coûte cher, mieux vaut conserver « je ne sais pas » comme option explicite et envoyer ces cas à un LLM ou à un humain. Les développeurs de modèles peuvent demander l'ajout de leur modèle à l'indice à l'adresse [email protected].