LexFrame читает скрытые состояния LLM: когерентность 0,97 при потолке линз 0,30

Исследователи предложили способ читать скрытые состояния языковой модели так, как их читает она сама. Метод называется Lexical Reference Frames. На SmolLM3-3B и OLMo3-7B на середине глубины любая линза с фиксированными направлениями на слой ограничена значениями 0,30 и 0,35. Первый порядок метода, LexFrame[1], даёт когерентность 0,97 на обеих моделях. Прочитанное состояние отличается от реального выхода модели не больше чем на 0,16 нат.

Почему фиксированные линзы упираются в потолок

Словарь модели задаёт её родную семантику. Эмбеддинг и анэмбеддинг определяют смысл состояния на двух концах residual stream. Между ними существующие подходы делятся на два лагеря. Одни берут фиксированную линзу и применяют одни и те же направления к состояниям на данном слое. Другие рассматривают состояния как облако точек и ищут в нём структуру. Авторы считают, что ни тот ни другой способ не читает состояние так, как это делает модель.

Их аргумент: у каждого скрытого состояния есть собственная система отсчёта. Её определяют слои, которые будут читать это состояние следующими, и она подстраивается под контекст. Фиксированная линза эту зависимость от контекста потерять обязана, потому что направления у неё заданы заранее. Отсюда и формальная граница. Линза с фиксированными направлениями на слой не может превысить корень из когерентности родного фрейма. На середине глубины это 0,30 для SmolLM3-3B и 0,35 для OLMo3-7B.

Как устроен LexFrame

Lexical reference frame приближает родную систему отсчёта. Состояние пропускается через оставшиеся слои самой модели. Между позициями делается заданное число раундов внимания, а для остальных вкладов подставляется типичный выход внимания. Подгонки под выход модели нет, коэффициенты не обучаются на её предсказаниях. В обозначении LexFrame[1] индекс, судя по описанию, соответствует числу раундов внимания, то есть это фрейм первого порядка.

Результат читается в лексическом базисе, то есть в терминах токенов словаря. Поэтому каждое промежуточное состояние получает интерпретацию в тех же единицах, в которых модель выдаёт ответ.

Что показали измерения

Авторы сравнивали LexFrame[1] с линзами и с attribution patching на двух моделях. Заявленные результаты такие:

• когерентность LexFrame[1] на середине глубины: 0,97 у SmolLM3-3B и 0,97 у OLMo3-7B;
• потолок для любой линзы с фиксированными направлениями: 0,30 и 0,35;
• расхождение с выходом модели: в пределах 0,16 нат;
• атрибуция предсказаний по коэффициентам фрейма точнее, чем у attribution patching;
• ранний выход по уверенным прочтениям позволяет пропустить 0,45 слоёв у SmolLM3-3B и 0,42 у OLMo3-7B, тогда как линзы пропускают почти ноль.

Отдельно авторы указывают, что лексический базис позволяет управлять предсказанием и при этом не задевать остальные токены. Это отличает его от грубого сдвига активаций, который обычно размывает распределение целиком.

Где это пригодится на практике

Для интерпретируемости главное то, что три задачи решаются одним инструментом: чтение состояния, атрибуция и управление. Раньше для них брали разные методы с разными допущениями.

Для инференса интереснее ранний выход. Если уверенное прочтение на промежуточном слое совпадает с ответом модели, остальные слои можно не считать. По заявленным цифрам, это почти половина глубины у двух проверенных моделей. Для продакшена такая экономия существенна, но у работы есть оговорки. Авторы проверяли только 3B и 7B, а качество при раннем выходе в абстракте измерено через близость к выходу модели, а не через end-to-end метрики задач. Прежде чем рассчитывать на ускорение в реальном сервисе, нужно посмотреть на код и на поведение метода на больших моделях и длинных контекстах.

Исследователям безопасности и отладки стоит присмотреться к точечному управлению. Если лексический базис правда меняет одно предсказание и не трогает соседние токены, его можно применять для локальных правок поведения и проверки причинных гипотез о том, как модель приходит к ответу.