Artificial Analysis запустила Decision Index: Jev 1.13 лидирует с 58 баллами

Artificial Analysis 13 октября 2026 года запустила Decision Index v1.0, бенчмарк для decision-моделей. Так называют модели, которые за один вызов выбирают ответ из заданного списка и выдают вероятность для каждого варианта. Первое место занял Jev 1.13 с 58 баллами, GLiDE от Fastino Labs и Microsoft-Decision-1 набрали по 54. Из языковых моделей выше оказался Claude Haiku 5.5 (Low) с 61 баллом, но он работает в 11 раз медленнее и обходится в 4,4 раза дороже.

Что измеряет индекс

Для Artificial Analysis decision-модель отличается от LLM форматом работы. Она не генерирует длинные рассуждения, а решает структурную задачу вроде «в какую команду направить обращение», «срочно ли это» или «насколько клиент раздражён». Модель отвечает за один проход и ставит вероятность на каждый вариант. Поэтому такие системы дешевле и быстрее, а их калибровку можно проверить напрямую. Для LLM в тех же тестах сервис берёт структурированный ответ без вероятностей по вариантам.

Индекс собран из четырёх оценок, по 25% каждая:

• AA-Omniscience-Decision: 500 закрытых вопросов с пятью вариантами (четыре ответа и «не знаю»). Точность и доля неголлюцинаций весят по 12,5%.
• HLE-MultiChoice: 513 текстовых вопросов с выбором ответа из Humanity's Last Exam.
• When2Call: тест NVIDIA на tool calling. Модель решает, ответить сразу, вызвать инструмент, уточнить детали или признать, что ответить не может.
• WildGuardTest: набор Ai2 для классификации безопасности. Нужно определить, вредоносен ли запрос, является ли ответ отказом и вредоносен ли он.

Кто впереди и сколько это стоит

Jev 1.13 выигрывает за счёт рассуждений: на HLE-MultiChoice у него 21 балл, у остальных decision-моделей 15 и ниже. На AA-Omniscience-Decision точность Jev составляет 35, лучший результат у d1 от Liquid AI (41). Зато d1 почти не умеет говорить «не знаю», его доля неголлюцинаций равна 2. На When2Call Jev набрал 81 и стал четвёртым, Celeris-1 Decision и GLiDE получили по 84. На WildGuardTest у Jev 94, как у Perplexity Decider v1.1 27B, GLiDE впереди на один пункт.

Стоимость на миллион задач у decision-моделей составляет от $17 до $199, а медианное время на задачу от 0,06 до 0,5 секунды. Decider v1.1 27B дешевле всех ($17), на границе Парето по соотношению качества и цены также Microsoft-Decision-1 ($31) и Jev 1.13 ($42). GLiDE при тех же 54 баллах, что у Microsoft, стоит $119, примерно втрое дороже Jev. Быстрее всех Celeris-1 Decision с 0,06 с на задачу, Jev справляется за 0,13 с.

С языковыми моделями картина смешанная. GPT-6 Luna (Low) набирает 55 баллов за 1,5 с и $131. Claude Haiku 5.5 (Low) получает 61 за 1,4 с и $184. На знаниях LLM уверенно впереди: точность на AA-Omniscience-Decision у Haiku 52, у Luna 66, а у decision-моделей от 28 до 41. На HLE-MultiChoice они набрали 24 и 22 против 21 у Jev. На классификации и tool calling лучшие decision-модели не уступают: WildGuardTest даёт 95 у GLiDE против 93 у Haiku и 89 у Luna, на When2Call у GLiDE и Celeris 84 против 77 у Luna и 73 у Haiku.

Уверенность без оснований

Главная претензия авторов к decision-моделям касается калибровки. Почти на всех уровнях вероятности реальная точность ниже заявленной, и так у всех проверенных моделей. Хуже всего это на знаниях и рассуждениях (AA-Omniscience-Decision и HLE-MultiChoice). На When2Call и WildGuardTest калибровка в целом приличная. Калибровку LLM в индексе пока не показывают, обещают позже.

Отдельно проверяли умение отказаться. Лучшая доля неголлюцинаций у Microsoft-Decision-1 (40%), дальше Jev 1.13 (35%) и Mercury Decide (32%). Ни одна другая decision-модель не дотянула до 17%.

Где это пригодится на практике

Для маршрутизации обращений, модерации и выбора инструмента в агентских цепочках decision-модель на границе Парето, например Jev 1.13 или Microsoft-Decision-1, даёт качество уровня LLM при кратно меньших затратах и задержке. Для фактологических вопросов и сложных рассуждений вероятности таких моделей нельзя считать честной оценкой риска, так что порог уверенности нужно подбирать на собственных данных. Если ошибка дорогая, стоит оставить «не знаю» как явный вариант и направлять такие случаи в LLM или к человеку. Разработчики моделей могут запросить добавление в индекс по адресу [email protected].