Учёные оценили неуверенность LLM по устойчивости внутренних механизмов на 3 моделях

Команда исследователей предложила измерять неуверенность большой языковой модели не по тому, что она выдала на выходе, а по тому, насколько прочно держится ответ внутри. Метод проверили на трёх открытых моделях и пяти наборах данных для вопросов и ответов. Неверные и неуверенные ответы в этих тестах оказались «хрупкими»: чтобы сдвинуть их, хватало меньшего внутреннего вмешательства, чем для правильных.

Работа опубликована в Hugging Face Daily Papers. Авторы вводят понятие mechanistic uncertainty, то есть механистической неуверенности.

Как устроена метрика

Обычные способы оценить уверенность LLM смотрят на выход: вероятности токенов, энтропию, согласованность нескольких сгенерированных ответов. Все они говорят, как модель отвечает, но не показывают, на чём этот ответ держится.

Авторы идут с другой стороны. Они определяют causal robustness margin, причинный запас устойчивости. Это минимальная величина внутреннего вмешательства, при которой ответ модели меняется. Если ответ сломать легко, механизм, который его поддерживает, слабый. Если для этого нужно сильное воздействие, ответ устойчив.

На практике вмешательство реализуется через концептуальные векторы управления (steering vectors), построенные с помощью Jacobian Lens, сокращённо Jlens. Идея steering vectors в том, что активации модели смещают вдоль выбранного направления и смотрят, как меняется поведение. Маржа получается как «цена» такого смещения. Подробности построения векторов в аннотации не раскрыты, их нужно смотреть в самой статье.

Что показали эксперименты

Набор проверок в аннотации описан так:

• модели: три открытые LLM;
• данные: пять датасетов вопросов и ответов;
• главный результат: у неверных и неуверенных ответов маржа меньше, то есть они чувствительнее к внутренним вмешательствам;
• комплементарность: causal robustness margin дополняет традиционные методы оценки неуверенности по выходу модели, а не заменяет их;
• контролируемый эксперимент: после обучения на внедрённых фактах маржа у корректно усвоенных знаний растёт.

Последний пункт, пожалуй, самый интересный. Авторы специально обучали модель новым фактам и смотрели, как меняется метрика. Когда факт усвоен верно, внутренняя опора ответа становится прочнее, и маржа это фиксирует. Так метрика получает проверку на причинность, а не только корреляцию с правильностью на готовых датасетах.

В аннотации нет конкретных значений AUROC и других метрик качества, нет названий моделей и датасетов. Насколько сильно маржа улучшает детекцию ошибок относительно базовых методов, по этим данным оценить нельзя.

Где это может пригодиться

Галлюцинации остаются главным препятствием для LLM в медицине, юриспруденции и финансах. Там нужен не просто ответ, а сигнал, насколько ему можно доверять. Выходные оценки уверенности нередко обманчивы: модель может уверенно ошибаться. Внутренний сигнал даёт второй независимый канал проверки.

Для разработчиков отсюда следуют три вывода:

• Метрику можно рассматривать как дополнительный слой к существующим оценщикам уверенности, а не как их замену.
• Метод требует доступа к внутренним активациям. Он применим к открытым моделям и недоступен для закрытых API, которые отдают только текст.
• Вмешательство в активации стоит вычислительных ресурсов. Насколько дорог расчёт маржи на каждый запрос, из аннотации неясно, а для продакшена это ключевой вопрос.

Это исследовательская работа. Результаты получены на трёх открытых моделях и пяти QA-задачах, и перенос на длинные генерации, рассуждающие модели и агентные сценарии ещё предстоит проверить. Но направление понятное: оценивать надёжность ответа через причинную структуру модели, а не только через статистику выхода.