DeCert учит ИИ-судей объяснять вердикты: 76,2 на RM-Bench у 8B-модели

Генеративная reward-модель — это LLM, которая сравнивает два ответа, объясняет словами, какой лучше, и выдаёт вердикт. Такие модели-судьи лежат в основе RLHF-пайплайнов и автоматической оценки. У них есть слабое место: правильный вердикт ещё не означает правильного рассуждения. Модель могла угадать, сослаться на несущественную деталь или написать обоснование, которое вообще не ведёт к её выводу. Команда Guiquan Sun, Bing Bai, Martin Renqiang Min и Dongjin Song предлагает фреймворк DeCert, который обучает судей писать убедительные обоснования, и делает это без эталонных объяснений. 8B-модель DeCert-Qwen3-8B набирает 76,2 на RM-Bench и 52,0 на JudgeBench.

Почему верный вердикт — слабая метка для обучения

Стандартная схема обучения судьи проста: сэмплируем несколько суждений, награждаем те, где вердикт совпал с разметкой. Но два суждения с одинаковым правильным вердиктом могут сильно различаться по качеству. Одно разбирает факты и логику ответа, другое выдаёт общие фразы. Для классической схемы они равноценны, и модель не получает сигнала, чем одно лучше другого.

Часть существующих подходов решает это с помощью референсных объяснений: обоснование судьи сравнивают с эталоном. Авторы указывают на две проблемы. Такие эталоны дорого получать. А совпадение с референсом не доказывает, что сгенерированное обоснование действительно поддерживает вынесенный вердикт.

Как DeCert оценивает «сертификат решения»

DeCert проверяет само обоснование: насколько оно валидно и насколько согласовано с вердиктом. Эти оценки превращаются в обучающий сигнал по предпочтениям, который учитывает и правильность вердикта, и качество аргументации. Обоснование оценивается по трём осям:

• soundness — корректность и обоснованность приводимых аргументов;
• coverage — полнота: учтены ли существенные аспекты сравниваемых ответов;
• decision support — действительно ли обоснование ведёт к вынесенному вердикту.

Ключевой ход связан с ситуацией, когда несколько сэмплов дают один и тот же верный вердикт. Раньше их приходилось считать равноценными. Теперь разница в качестве «сертификата» позволяет собрать пары предпочтений на уровне обоснований: сильное против слабого. Модель учится отличать добротное объяснение от формально верного, но пустого.

Цифры и устойчивость к порядку ответов

Метод проверили на двух семействах 8B-моделей и нескольких бенчмарках, как in-distribution, так и out-of-distribution. По данным авторов, DeCert стабильно превосходит сильные базовые генеративные судьи и одновременно улучшает качество обоснований. Основные результаты:

• DeCert-Qwen3-8B: 76,2 на RM-Bench;
• DeCert-Qwen3-8B: 52,0 на JudgeBench;
• прирост position-consistent accuracy — до +14,8 пункта;
• улучшение трёх показателей: точности суждений, качества обоснований и позиционной устойчивости.

Последняя метрика заслуживает отдельного внимания. Позиционное смещение — известная болезнь LLM-судей: вердикт зависит от того, каким по счёту поставлен ответ, а не от его качества. Position-consistent accuracy засчитывает успех, только если модель выбирает верный ответ при обоих порядках подачи. Прирост до 14,8 пункта показывает, что требование к качеству обоснования сокращает и такие артефакты. Судья, который вынужден объяснять, почему один ответ лучше, реже опирается на случайный сигнал вроде позиции.

Что можно взять в работу

Код опубликован на GitHub в репозитории UConn-DSIS/DeCert, а статья доступна на arXiv под номером 2610.27528. Командам, которые строят LLM-as-a-judge или обучают reward-модели для RLHF и RLAIF, идея применима напрямую. Если судья нужен, чтобы выдавать не только оценки, но и читаемые объяснения (для аудита датасетов, отладки агентов, разметки), стоит ставить в обучении отдельную цель на качество рационала, а не ограничиваться совпадением вердикта. При сэмплировании нескольких суждений на один пример полезно разбирать и те, где вердикты одинаковы: именно в них прячется сигнал о качестве рассуждения. Отдельно стоит замерять position-consistent accuracy, а не только обычную точность: по ней видно, насколько судье можно доверять.

Ограничения тоже видны: модели у авторов небольшие, 8B, и вопрос масштабирования подхода остаётся для проверки. Но возможность улучшать судей без дорогих эталонных объяснений делает метод интересным для всех, кто хочет надёжные и объяснимые оценки ответов LLM.