Учёные выяснили, как позиционное кодирование RoPE формирует «отпечаток» голов внимания в LLM

Группа исследователей опубликовала на arXiv работу о том, как схема позиционного кодирования — RoPE, learned-absolute или ALiBi — определяет математическую структуру «индукционных» голов внимания в трансформерах, то есть механизма, который лежит в основе обучения модели в контексте.

Что именно измеряли

Оценка внимания перед softmax описывается билинейной формой с обучаемой матрицей M = W_q^T W_k. Поскольку эта матрица обычно несимметрична, у неё комплексный спектр собственных значений — и именно этот спектр авторы использовали как «отпечаток» того, как голова внимания устроена внутри. Работу проверили на семи предобученных моделях с тремя разными схемами позиционного кодирования, сосредоточившись на «previous-token» и «induction» головах — механизмах, отвечающих за поиск предыдущего похожего токена и предсказание следующего по аналогии.

• Проверены семь предобученных моделей и три схемы позиционного кодирования — RoPE, learned-absolute, ALiBi
• Разделение моделей по типу кодирования оказалось точным на каждом проверенном срезе (p = 0,029)
• На чекпоинтах Pythia «вращательная» спектральная сигнатура появляется одновременно с формированием индукционного поведения, а не раньше него
• На игрушечных двухслойных моделях обучение обходит запрет спектрального канала, но с задержкой (q_BH ≤ 0,016)
• Навязывание симметрии матрицы замедляет обучение моделей с learned-absolute кодированием в 2,9 раза

Что показал эксперимент с запретом

В головах, использующих RoPE, спектр оказался «вращательным» — обнуление фазовой компоненты полностью отключало индукцию у заранее выявленной головы во всех трёх моделях с RoPE. У моделей с learned-absolute и ALiBi, где позиция учитывается не внутри матрицы внимания, а снаружи, спектр вёл себя иначе — «содержательно», без выраженного вращения. При этом на игрушечных моделях авторы показали: если явно запретить голове использовать спектральный канал, обучение просто находит обходной путь и восстанавливает способность к индукции, только с задержкой формирования.

Что это значит

Работа показывает, что выбор схемы позиционного кодирования — не техническая деталь, а фактор, который определяет, каким внутренним «языком» модель решает задачу обучения в контексте. Для интерпретируемости LLM это означает, что спектральный анализ матриц внимания можно использовать как диагностический инструмент, но сам спектральный «отпечаток» — следствие обучения, а не жёсткое ограничение на то, что модель способна выучить.

Частые вопросы

Что такое индукционные головы в трансформерах?

Это головы внимания, которые находят в контексте токен, похожий на текущий, и предсказывают следующий токен по аналогии с тем, что шло после похожего токена раньше — базовый механизм, который отвечает за способность модели обучаться прямо в контексте запроса (in-context learning).

Какая схема позиционного кодирования оказалась более гибкой?

RoPE — единственная из трёх схем, где голова внимания способна направленно передавать информацию через фазовый канал, даже если её весовая матрица симметрична; у learned-absolute кодирования такой возможности не остаётся, что и замедляет обучение при искусственно навязанной симметрии в 2,9 раза.