Агент с окном 16K держит 70,2% SWE-bench Verified, сбрасывая контекст каждый шаг

Все привыкли, что агенту для долгой задачи нужно огромное окно контекста: чем больше влезет, тем лучше. Новая работа «You don't need long context» (Белчак, Молчанов и соавторы) утверждает обратное: короткого окна хватает, если правильно построить обвязку, то есть харнесс.

Что предложили авторы

Идея простая. Вместо того чтобы копить историю диалога до отказа, харнесс периодически сбрасывает её и начинает новую сессию. Переносится только структурированная рабочая сводка. Большие файлы в контекст целиком не грузятся: агент ищет нужное через Bash-утилиты вроде grep и читает ограниченными окнами.

Есть два режима. End-of-Conversation Compaction (EoCC) сжимает диалог, когда набирается порог токенов. Single-Action Compaction (SAC) идёт радикальнее и сбрасывает контекст после каждого действия.

Представьте разработчика, который чинит баг в большом репозитории. Он не перечитывает всю кодовую базу при каждом шаге. Он держит заметки: что уже проверил, что сломано, что пробовал зря. Здесь то же самое, только заметки ведёт обвязка.

Что получилось

На бенчмарках с длинным горизонтом и большими документами короткое окно сохраняет точность, а иногда и повышает её. Стоимость декодирования на GPU при переходе от 256K к 16K токенов падает до 7 раз. Даже в жёстком режиме SAC Claude Opus 4.5 решает 70,2% задач SWE-bench Verified.

Отдельно приятно, что авторы описали формат сводки. Это handoff brief из шести частей: цель, проверенные факты отдельно от гипотез, внесённые изменения, прогнанные проверки, тупики и план дальнейших шагов. Разделение фактов и гипотез защищает от ситуации, когда догадка после пересказа превращается в «установленную истину».

Скилл для Claude Code

Кода у статьи нет, поэтому Жемал Хамидун из gonzo-обзоров попросил Claude собрать скилл, воспроизводящий подход. Он лежит в репозитории short-context-agent. Скилл учит агента не грузить большие файлы в контекст, а искать по ним и читать окнами, и вести тот самый brief на длинных многошаговых задачах.

Сбросом контекста по-прежнему управляет Claude Code: автокомпакция по порогу, /compact или /clear вручную. Хук плагина подкладывает brief обратно, и агент продолжает с того же места. Получается режим EoCC. Режим SAC в Claude Code не воспроизвести, он есть только в референсном харнессе из репозитория, вместе с EoCC и baseline без компакции. Автор честно предупреждает, что тестировал не внимательно, возможны баги, а PR приветствуются.

Ограничения

Первое: сброс контекста ломает кеш промптов. Каждая новая сессия начинается с холодного префикса, так что денег вы можете и не сэкономить, даже если GPU-экономия на декодировании реальна. Выигрыш в 7 раз относится к стоимости декодирования, а не к вашему счёту у провайдера.

Второе: слабые открытые модели могут обваливаться. Если модель многословна, она выжигает жёсткий бюджет окна раньше, чем закончит задачу. Результаты на Opus 4.5 нельзя автоматически переносить на любую модель.

Третье: скилл неофициальный и сырой, это не проверенная реализация авторов.

Что делать на практике

Если вы строите агентов, проверьте три вещи. Не заставляйте агента читать большие файлы целиком, пусть ищет и читает окнами. Заведите явную сводку с разделением фактов и гипотез. И посчитайте реальную стоимость с учётом сброса кеша, а не только размер окна. Для self-hosted моделей идея ещё интереснее: обучать и запускать модель с окном 16K–50K заметно дешевле, чем гнаться за миллионом токенов.