Calibration of language models: three methods to align confidence and accuracy

Языковые модели нередко «лгут» своей уверенностью: говорят «я уверен на 90%», а ошибаются в половине случаев. Калибровка — это набор техник, которые устраняют этот разрыв без изменения весов модели. Статья разбирает три самых распространённых пост-хок подхода.

Почему некалиброванность опасна

Хорошо откалиброванная модель означает: если она присваивает событию «70% вероятность», в реальности такое событие должно случаться примерно в 70% схожих случаев. Звучит разумно, но на практике большинство современных LLM переуверены — они систематически завышают собственную правоту, особенно в сценариях, далёких от обучающих данных. Проблема не абстрактная.

В продуктах, где решения принимаются на основе вероятностей модели — медицинская диагностика, кредитный скоринг, юридическая экспертиза, торговые алгоритмы — неправильная уверенность напрямую ведёт к неправильным решениям. Пользователь видит «90% уверенность» и доверяет ответу, который объективно верен лишь в 55% случаев. Измерить расхождение можно двумя способами.

ECE (Expected Calibration Error) — одна числовая метрика, которая усредняет абсолютное отклонение между предсказанными вероятностями и реальными частотами по диапазонам. Диаграмма надёжности (reliability diagram) — визуальный инструмент: ось X — предсказанные вероятности, ось Y — реальная точность. Идеальная калибровка — прямая диагональ.

Отклонение вниз означает переуверенность, вверх — недоуверенность.

Три метода пост-хок калибровки Все три подхода применяются уже после обучения нейросети.

Они не меняют веса, а корректируют выходные вероятности на этапе инференса с помощью небольшого дополнительного обучения на валидационных данных. Это делает их удобными: не нужен доступ к обучению модели, не нужна дополнительная разметка. * Platt Scaling — обучает логистическую регрессию поверх сырых логитов модели.

Быстрый и простой, требует немного данных. Предполагает сигмоидальную форму искажения — хорошо работает, если модель равномерно завышает или занижает уверенность по всему диапазону. Слабость: плохо справляется с нелинейными паттернами.

* Isotonic Regression — непараметрический метод без предположений о форме искажений. Строит монотонную функцию-трансформацию произвольной формы, лучше справляется со сложными нелинейными паттернами переуверенности. Требует значительно больше валидационных примеров — иначе рискует переобучиться.

* Temperature Scaling — самый популярный метод для LLM. Делит все логиты на одну обучаемую константу T (температуру). T > 1 — вероятности «размываются», модель становится менее категоричной.

T < 1 — уверенность растёт. Один параметр, оптимизируется по NLL на валидации. Реализация занимает около десяти строк кода.

Как выбрать подходящий метод **Temperature

Scaling** — выбор по умолчанию для большинства задач с LLM. Работает только с выходными вероятностями — доступ к весам не нужен. Для подбора T достаточно нескольких сотен примеров.

Не перестраивает форму распределения, только масштабирует его. Isotonic Regression стоит рассматривать, когда искажение нелинейно и валидационная выборка велика — от нескольких тысяч примеров. Он может поймать сложные паттерны, которые Temperature Scaling пропустит.

Риск переобучения требует тщательного разбиения на train/val/test. Platt Scaling занимает промежуточное место: чуть гибче Temperature Scaling и проще Isotonic Regression. Имеет смысл, когда данных для Isotonic недостаточно, но нужно больше гибкости, чем даёт температура.

Ключевое ограничение всех трёх подходов: необходим отдельный валидационный набор, не использовавшийся при оценке модели. Калибровать на том же наборе — ошибка, ведущая к переобучению калибровочной функции.

Что это значит

Для команд, выводящих LLM в production, калибровка — обязательный шаг перед деплоем в любые сценарии с высокими ставками. Temperature Scaling занимает минимум усилий и может существенно снизить число ошибочно уверенных предсказаний — без переобучения, без доступа к весам, без заметного роста латентности. Это один из тех редких случаев, когда небольшое техническое улучшение прямо влияет на доверие пользователей к продукту.