Cohere научила 7B-модель оценивать уверенность дважды: ошибка калибровки ниже на 52,5%

Cohere опубликовала метод CALIBER, который учит reasoning-модель оценивать собственные шансы дважды: до того, как она начала рассуждать, и после того, как ответ готов. На математическом бенчмарке BigMathDigits 7B-модель снизила ожидаемую ошибку калибровки (ECE) с 0,059 у сильнейшего бейзлайна с единственной оценкой до 0,028. Это на 52,5% меньше. Автор работы — research scientist Cohere Beyza Ermis.

Один балл скрывает два вопроса

Перед рассуждением модель видела только условие. Она может узнать тему и прикинуть, выглядит ли задача посильной. Её уверенность отвечает на вопрос «насколько вероятно, что я с этим справлюсь?». После рассуждения у неё появляется конкретный объект для проверки, собственное решение, и вопрос меняется: «насколько вероятно, что этот ответ верен?».

Cohere приводит пример с двумя кубиками и суммой не менее 10. Модель стартует с 25% уверенности, перебирает варианты (три способа выбросить 10, два — 11, один — 12), получает 6 из 36, то есть 1/6, и заканчивает на 88%. Возможен и обратный путь: решение выглядит простым, но по ходу вскрывается ошибочное допущение, и уверенность падает. Стандартные reasoning-модели такой способности не гарантируют: подробная цепочка рассуждений не означает, что модель умеет честно сообщать о сомнениях.

Цели обучения для двух оценок разные. Для начальной уверенности модель решает одну задачу несколько раз. Если успешны семь попыток из десяти, целью становится 70%. Для финальной уверенности цель бинарная: конкретный ответ верен или нет. Если из четырёх попыток три успешны, начальная цель равна 75%, а у неудачной попытки финальная цель равна 0. Награды за калибровку складываются с наградой за правильный ответ. Признание сомнений в неверном ответе улучшает калибровочную награду, но награды за решение не приносит.

Что показали эксперименты

Модели на 7B и 30B параметров обучали на 30 000 математических задач и проверяли на 1000 отложенных задач. Дополнительно использовали три QA-бенчмарка. Все методы сравнивались в одинаковой тренировочной схеме, а бейзлайны с пометкой lite представляют собой упрощённые адаптации прежних подходов. Для CALIBER метрики считались по финальной уверенности.

• BigMathDigits, 7B: ECE 0,028 против 0,059 у лучшего бейзлайна (−52,5%).
• AUROC 0,806 и Brier score 0,130 — лучшие результаты в сравнении.
• Перенос без дообучения и подбора чекпоинтов под задачу: ECE ниже на 26,8% на GPQA, 32,2% на TriviaQA и 36,2% на SimpleQA.
• BigMathDigits, 30B: ECE 0,022 против 0,023 у CoCA-lite, но AUROC 0,797 против 0,508.

Результат 30B-модели показывает, зачем нужны две метрики. По ECE CoCA-lite почти не уступает, однако её уверенность практически не различает верные и неверные ответы: AUROC 0,508 близок к подбрасыванию монеты. Модель, которая всегда говорит «70%» при 70% точности, идеально калибрована и при этом бесполезна для выбора, что проверять. Оговорка Cohere: часть других бейзлайнов даёт чуть более высокий AUROC, чем CALIBER, поэтому преимущество зависит от измеряемого свойства.

Отдельно смотрели, как уверенность меняется после рассуждения. На BigMathDigits у 7B-модели средняя оценка для верных ответов выросла с 78,5% до 83,5%, а для неверных упала с 62,6% до 54,5%. На других датасетах уверенность иногда снижается в обеих группах, но у неверных ответов сильнее. Сам рост или падение не вердикт: два ответа с итоговыми 70% выражают одну и ту же вероятность, даже если один путь шёл вверх, а другой вниз.

Где это пригодится и чего ещё не проверили

Для продуктовых команд практическая ценность в маршрутизации. Низкая начальная уверенность может сигнализировать, что задачу стоит отдать более сильной модели или человеку ещё до траты токенов на рассуждение. Низкая финальная уверенность подскажет, какие ответы отправлять на ручную проверку, когда времени хватает на несколько штук из сотни. Именно здесь AUROC важнее красивого ECE.

Ограничения следует учитывать. Эксперименты замеряют уверенность до и после одного прохода рассуждения. Использование обновлений для решений «проверить», «поискать дополнительную информацию» или «воздержаться» Cohere не тестировала. Обучение шло преимущественно на математике, а перенос на QA показан только для 7B-модели и только по ECE. Прежде чем встраивать такие оценки в агентные пайплайны, их нужно прогнать на собственных данных и проверить калибровку на своём распределении задач.