ASTC сжимает контекст агента без обучения и режет Attention Pairs на 50,68%

Долгие агентные сценарии упираются в рост контекста: каждый шаг добавляет к следующему вызову модели системные инструкции, прежние решения, вывод инструментов, код и обратную связь среды. Полный контекст дорого обрабатывать, а нужные факты вынуждены соревноваться с устаревшим мусором. Авторы статьи с arXiv предлагают метод Agentic Soft-Token Compression (ASTC), который сжимает этот контекст внутри самой модели и не требует обучения отдельного компрессора. По их данным, качество задач остаётся на уровне несжатой модели или выше, а число Attention Pairs (пар «запрос — ключ», которые считает внимание) за весь прогон уменьшается до 50,68%.

Почему обычное сжатие ломает агентов

Сжатие контекста агента авторы отделяют от обычной суммаризации. В истории соседствуют текст, который можно ужать без вреда, и точные значения: пути, идентификаторы, контрольные суммы, аргументы API. Замена одного символа в таком значении делает следующее действие недействительным. К тому же информация, неважная сейчас, может стать решающей через несколько шагов, поэтому однократная оценка важности ненадёжна.

Существующие методы принимают решение до того, как модель обработает контекст. Жёсткие методы выбрасывают или переписывают текст и рискуют потерять точные значения. Мягкие методы хранят непрерывные представления, но им нужны отдельно обученные энкодеры, а их цель может расходиться с тем, что реальная модель уже усвоила и что ей понадобится позже. Сами авторы сначала пробовали обучить встроенный компрессор из attention- и MLP-блоков через on-policy distillation. Подготовка вышла дорогой, а результат слабым, и добавление слоёв сжатия положения не исправило.

Анализ траекторий из реальных пользовательских сессий показал, что больше всего места занимают наблюдения от инструментов. Среди систем в статье названы Fable 5, GPT-5.6 Sol и Kimi K3. Поэтому именно выводы инструментов стали основной целью сжатия.

Как ASTC использует состояние GDN

Метод рассчитан на гибридные модели, где Gated Delta Network (рекуррентный слой с ассоциативной памятью) чередуется с полным вниманием. Обновление такого слоя даёт сигнал новизны: если входное значение уже хорошо представлено в состоянии, поправка мала, а новая или противоречивая информация меняет память сильнее. Выходит, что модель сама показывает, что она уже усвоила.

Ранние слои читают весь новый блок. Затем ASTC выбирает позиции, которые одновременно предсказуемы по предыдущему состоянию и всё ещё считываются из состояния в конце наблюдения. Распознанные точные значения и граница действия защищены маской и остаются обычными токенами. Выбранные позиции делятся на причинные группы, из них убираются выбросы, а оставшиеся скрытые состояния усредняются в один мягкий токен в пространстве модели. Группы из одной позиции и слишком сильные искажения отбраковываются: такие позиции остаются исходными токенами.

Кэш после границы сжатия хранит более короткую смешанную последовательность. Он переиспользуется при декодировании и на следующих шагах агента, поэтому выигрыш не ограничен одним префиллом. При этом сжатие должно окупаться: сэкономленное внимание должно превышать затраты на отбор и пулинг.

Что показали замеры и где пределы

Заявленные результаты: на разных долгих задачах ASTC держит качество близким к несжатой модели или выше и снижает сквозные Attention Pairs до 50,68%. Если убрать защиту точных значений, точность резко падает. Критерий работает и за пределами наблюдений инструментов: при сжатии всей истории точность несжатой модели достигается при 24,52% меньшем числе Decode KV-обращений. Выигрыш показан также на длинном контексте и исправлении кода. По Attention Pairs на успешную задачу метод опережает обученные компрессоры в 15,4–103,7 раза и при этом показывает лучшую точность.

Ограничений несколько. Метод опирается на гибридные GDN-модели, так что для чистых трансформеров он напрямую не годится. Распознавание точных значений может пропускать часть полей. Теоретические оценки, включая условия, при которых мягкие токены искажают предсказание меньше, чем равные по длине жёсткие, зависят от допущений, которые пороги отбора не гарантируют. Метрика Attention Pairs считает вычисления внимания, а не время и деньги на реальном железе, поэтому итоговую экономию нужно проверять на своём стеке.

Практический вывод для команд, которые строят долгих агентов на гибридных архитектурах: сжатие можно брать из внутренних сигналов модели, не тратя ресурсы на отдельный компрессор.