First Passage Attention заменяет сумму затуханий экстремумом: passkey на 8× длине

Forget gates в attention почти всегда работают как копилка штрафов: чем дальше ключ от запроса и чем больше токенов между ними, тем сильнее его логит снижается. Накопление монотонно, поэтому модель не может стереть кусок середины и при этом сохранить старые, структурно важные токены. Статья First Passage Attention (FPA) предлагает другую математику. Вместо суммы затуханий вдоль пути берётся экстремум. На модели в 110M параметров это даёт идеальный passkey retrieval на длине в 8 раз больше обучающей, причём даже при KV-кэше, сжатом примерно до 25%. Перплексия при этом на уровне Forgetting Transformer (FoX).

Как устроен механизм

В FPA есть обучаемое скалярное поле и уровни, привязанные к ключам. Логит ключа снижается пропорционально самому глубокому провалу поля ниже уровня этого ключа на отрезке между ключом и запросом. Название отсылает к теории случайных блужданий, где «первое прохождение» означает момент, когда траектория впервые пересекает заданную границу.

Главное следствие касается порядка событий. Если поле глубоко просело после ключа, ключ штрафуется. Если провал был мелким или ключ лежит ниже него, остаётся нетронутым. Сумма таких вещей различать не умеет, экстремум умеет. FoX авторы называют частным случаем FPA, то есть новая схема строго шире прежней.

Если поле и уровни следуют одному обучаемому блужданию, «живые» ключи с неоштрафованными логитами образуют стек. Новый провал вытесняет всё, что лежит выше него, а то, что глубже, остаётся доступным. Это похоже на структуру скобок или вложенных областей видимости: закрыл блок и забыл его содержимое, но внешний контекст цел.

Что показали эксперименты

Теоретический результат сформулирован через размерность головы. Голова FPA постоянной размерности реализует любое подмножество ключей, оставшихся живыми после последовательных провалов. Softmax-головам с позиционными смещениями и FoX с токен-уровневыми гейтами для того же требуется размерность, линейная по числу ключей. Это выигрыш по выразительности при фиксированном бюджете параметров.

На синтетических задачах однослойные головы FPA сходятся к целевым наборам ключей. Сопоставимые softmax- и FoX-бейзлайны не справились ни на одном сиде. Дальше авторы масштабировали метод на языковую модель:

• размер модели: 110M параметров;
• перплексия: на уровне FoX, без просадки относительно ближайшего аналога;
• passkey retrieval: идеальный результат на длине в 8 раз больше обучающей, единственный среди сравниваемых методов;
• KV-кэш: сжатие примерно до 25% без потери этого результата;
• синтетика: FPA сходится к целевым наборам на однослойных головах, бейзлайны проваливаются на каждом сиде.

Практические выводы

Связка «экстраполяция длины плюс сжатый кэш» бьёт по главной статье расходов длинного контекста, то есть по памяти под KV. Если стек живых ключей позволяет безопасно выбрасывать оставшиеся токены, кэш можно ужимать не эвристикой вроде «держим последние N», а правилом, которое модель выучила сама. Для инференса агентов с длинными сессиями и вложенными задачами такая структура выглядит естественной.

Осторожность нужна по трём пунктам. Во-первых, 110M параметров далеко от продакшн-масштаба, и поведение на миллиардах не проверено. Во-вторых, passkey retrieval остаётся простым тестом: он показывает способность найти одну иголку, но не качество рассуждений по длинному документу. В-третьих, по абстракту неясно, как FPA совмещается с оптимизированными ядрами внимания и какова цена по скорости обучения.

Команде, которая работает над архитектурами с забыванием, статью стоит прочитать целиком и воспроизвести на своём бейзлайне. Первая проверка простая: сравнить FPA с FoX на задачах с вложенной структурой и на длинах в несколько раз выше обучающей. Если результат подтвердится на моделях в миллиарды параметров, экстремумы вместо сумм могут стать нормальной частью дизайна forget gates.