ResonatorLM научили читать память по токену: perplexity на 1024 упала с 12,81 до 3,76

Исследователи предложили небольшую правку для ResonatorLM, модели с фиксированным размером состояния, которая читает память из банка затухающих комплексных осцилляторов. Фазу чтения, раньше постоянную для каждой головы, сделали функцией текущего токена. Это добавило 0,2% параметров. В экспериментах с символьными моделями на 6 млн параметров (WikiText-2) качество на длине обучения не изменилось. Зато при обучении на 256 токенах и тесте на 1024 perplexity упала с 12,81 до 3,76.

Развилка, с которой начиналась работа

Модели с состоянием фиксированного размера обходят квадратичную стоимость внимания, но заставляют выбирать. Если переход состояния зависит от входа, память получается контентно-зависимой. Платить за это приходится обучением на основе FFT: его нельзя использовать в прежнем виде. Если переход фиксирован, сохраняется свёрточный путь с асимптотикой O(T log T), но память читается одинаково для любого входа.

ResonatorLM относится ко второму типу. Каждая голова считывает банк осцилляторов через фиксированную обученную фазу. Авторы новой работы оставили переход как есть и изменили только чтение: фаза теперь вычисляется по текущему токену. Входная зависимость появляется лишь на стадии чтения, поэтому свёртка остаётся точной, а обучение идёт по прежней схеме.

Что показал анализ необученного банка

Перед экспериментами авторы разобрали банк осцилляторов без обучения. Фаза действительно кодирует прошедшее время. Но память оказывается короткой: обычный токен опускается ниже фонового уровня за 2–8 шагов. Никакой выбор затухания не продлевает линейную реконструкцию дальше примерно 16 токенов.

Итоговые цифры работы:

• Прирост параметров: 0,2%.
• Масштаб моделей: 6 млн параметров, символьный уровень, WikiText-2.
• Обучение на 256, тест на 1024 токена: perplexity 12,81 у исходной модели и 3,76 у варианта с входной фазой.
• На длине обучения результаты совпадают с оригиналом.
• Горизонт линейной реконструкции в необученном банке: до ~16 токенов.
• Токен уходит ниже фона за 2–8 шагов.

Откуда берётся провал за пределами обучающей длины

Главный диагностический вывод касается long-memory голов. Они накапливают больше истории, чем видели при обучении, и на длинных входах читают состояние в режиме, который модель не встречала. Отсюда деградация исходной ResonatorLM при выходе за обучающую длину. Входная зависимость фазы это устраняет: разрыв между 12,81 и 3,76 показывает масштаб проблемы.

Механизм при этом оказался скромнее, чем можно было ожидать. Обученная фаза отслеживает текущий символ, а не расстояние до прошлых токенов, и качество retrieval не растёт. То есть модель не научилась точнее доставать нужный фрагмент из прошлого. Она перестала ломаться, когда истории накапливается больше, чем в обучении.

Где это пригодится

Для тех, кто работает со свёрточными моделями состояния с фиксированным переходом, вывод практический: экстраполяцию по длине стоит проверять отдельно. Достаточно обучить модель на коротком контексте и сравнить perplexity на контексте в 4 раза длиннее. Разрыв такого масштаба может скрываться за хорошими метриками на обучающей длине. Диагностика long-memory голов, как в работе, подсказывает, где искать причину.

Есть и ограничения. Эксперименты проведены на моделях с 6 млн параметров, на символьном уровне и на одном датасете. Перенос на токенные модели в миллиарды параметров остаётся непроверенным. Улучшения retrieval нет, так что для задач с точным извлечением из контекста метод не решение. Как дешёвая страховка для длинных входов при почти нулевой цене по параметрам он выглядит убедительно.