Механистическая неопределенность LLM: измеряем через причинную устойчивость внутренних механизмов

Проблема галлюцинаций в критических приложениях

Большие языковые модели широко применяются в системах, где ошибки имеют серьёзные последствия — от медицинской диагностики до юридического анализа. Основная проблема: LLM генерируют убедительно звучащие, но неправильные ответы (галлюцинации). Традиционные методы оценки неопределенности, основанные на анализе выходных логитов и вероятностей, часто не справляются с этой задачей. Требуется метод, который бы напрямую отражал надежность внутренних механизмов модели.

Ученые Aneesh Komanduri, Majid Afshar, Timothy A. Miller и Yanjun Gao ввели концепцию механистической неопределенности. Это подход характеризует неопределенность не через выходные распределения, а через стабильность внутренних механизмов, которые поддерживают генерацию ответа. Если внутренние представления твёрдые и когерентные — граница устойчивости широкая. Если ненадежные — узкая.

Граница причинной устойчивости и инструментарий

Основное понятие исследования — граница причинной устойчивости (causal robustness margin). Это минимальное внутреннее вмешательство, необходимое для того, чтобы модель изменила свой ответ. Чем шире граница, тем более уверенно модель стоит на своем выборе с точки зрения внутренней структуры.

Для практической реализации авторы применяют векторы направления концепций Jacobian Lens (Jlens) — инструмент концептуального управления (concept steering), позволяющий целенаправленно модифицировать активации внутри трансформера. Исследователи измеряют, какую амплитуду воздействия нужно приложить к этим векторам, чтобы сбить модель с ее текущего предсказания. Эта амплитуда и есть граница причинной устойчивости.

Экспериментальные результаты

Исследование охватило 3 открытых языковых модели и 5 датасетов вопрос-ответного типа. Выводы четкие и воспроизводимые:

• Неправильные ответы демонстрируют значительно более узкие поля причинной устойчивости, чем правильные • Ответы, которые модель выдает с низкой уверенностью, показывают повышенную чувствительность к внутренним вмешательствам • Граница причинной устойчивости работает ортогонально к традиционным методам: она дополняет, а не дублирует информацию из выходных распределений

Валидация через инъекцию знаний

Для дополнительной проверки авторы провели контролируемый эксперимент с инъекцией знаний. Модель обучали на новых фактах, и после обучения правильно усвоенные знания демонстрировали возросшие поля причинной устойчивости. Это критически важное наблюдение: граница устойчивости реагирует на подлинное обучение, а не просто фиксирует статистический артефакт.

Значение для разработки и безопасности

Механистическая неопределенность предоставляет разработчикам принципиально новый инструмент. Вместо абстрактного допуска «мы не знаем, когда ошибаться», появляется метод для прямого анализа устойчивости внутренних представлений модели. Это особенно ценно для высокоставочных приложений: можно не просто оценить вероятность, но понять механистически, насколько прочно модель стоит на своем выборе, анализируя чувствительность её внутренних процессов к вмешательствам.

Работа опубликована в октябре 2026 года (arXiv 2610.22636).