DecisionPivot проверил 40 моделей-решателей: при равной точности разрыв до 26 п.п.

Если модель-решатель в вашем LLM-пайплайне набирает высокую точность на публичном тесте, это ещё не значит, что она принимает верные решения. Авторы DecisionPivot собрали бенчмарк из 48 задач и 40 033 элементов, чтобы показать разницу. Две модели на 27B параметров расходятся на референсном треке всего на 2,6 пункта, а по точности на контрастных группах получают 70,1% и 44,2%. Разрыв составляет 25,9 пункта, и обычная агрегированная метрика его не видит.

Как устроен бенчмарк

DecisionPivot оценивает модели, которые отвечают за маршрутизацию запросов, guardrails и верификацию выходных данных. Всего выделено семь ролей решения. Бенчмарк состоит из двух частей.

Основной трек включает 7 800 элементов из 13 генерируемых семейств задач. Элементы собраны в контрастные группы: это близкие варианты одного задания, где меняется ключевая деталь, а правильный ответ меняется вместе с ней. Ответы вычисляются программно и проверяются независимо реализованными солверами. Референсный трек состоит из 32 233 элементов из 35 публичных тестовых наборов и сохраняет их исходные метрики.

• 48 задач и 40 033 элемента, семь ролей решения.
• 7 800 элементов в основном треке, 13 семейств задач.
• 32 233 элемента в референсном треке, 35 публичных наборов.
• 40 моделей-решателей и 14 универсальных моделей.
• Метрики: точность по элементам и по контрастным группам, упорядочивание вероятностей, калибровка, эмпирическое селективное покрытие.

Где ломаются агрегированные оценки

Главный результат касается контрастных групп. Модель засчитывается в такой группе, только если верно отвечает на все варианты. Поэтому метрика ловит случаи, когда решатель реагирует на поверхностные признаки, а не на деталь, которая определяет ответ. Пара моделей на 27B с почти одинаковым результатом на референсном треке показывает, насколько это важно.

Вторая находка касается вероятностей. На 2 400 бинарных контрастных парах Perplexity Decider ставит положительный элемент выше отрицательного в 92,3% случаев. Но верно отвечает на оба элемента пары только в 74,1%. Модель хорошо упорядочивает варианты по уверенности, однако порог принятия решения у неё срабатывает неточно. Для систем, где решение определяется порогом (пропустить запрос или заблокировать), это существенно.

Третье наблюдение: модели с похожей точностью по элементам отличаются надёжностью высокоуверенных предсказаний. Для селективных сценариев, где система обрабатывает автоматически только случаи с высокой уверенностью, а остальные отправляет человеку, это определяет реальную долю ошибок в автоматическом потоке.

Отдельно авторы проверили влияние режима рассуждения. На подмножестве из 1 296 элементов GLM-5.3 достигает 93,5% точности по контрастным группам при повышенном уровне рассуждения и 81,5% при минимальном. Разница в 12 пунктов получена на одной и той же модели.

Как использовать результаты на практике

Команде, которая выбирает модель для роутинга, модерации или верификации, стоит добавить контрастные тесты к стандартной оценке. Для этого берётся набор близких пар, где меняется одна решающая деталь, и считается доля пар, решённых целиком. Отдельно полезно измерять калибровку и долю ошибок среди предсказаний с высокой уверенностью: именно от неё зависит, сколько решений можно отдавать автоматике.

Также нужно фиксировать режим рассуждения при сравнении моделей. Результат GLM-5.3 показывает, что один и тот же чекпоинт может вести себя по-разному в зависимости от настройки, а значит, сравнение по умолчанию мало что говорит о поведении в продакшене. Авторы отмечают, что оценивали модели по документированным протоколам, специфичным для каждой из них, и этот подход разумно перенять при внутренних тестах.