Агент сам вычёркивает старые ответы инструментов и режет входные токены вдвое

Агент, который ходит по инструментам, быстро обрастает историей: логи, дампы, выводы команд, содержимое файлов. Полезного в каждом таком ответе часто на порядок меньше, чем самого ответа, но весь он продолжает ехать в каждом следующем запросе. Авторы препринта на arXiv предлагают отдать чистку самой модели. В исследовательском кейсе финальный промпт при таком подходе составил 231 951 токен против 912 492 при обычном хранении истории. Совокупный входной объём упал на 50%, оценка стоимости API — до $1,28–1,44 вместо примерно $4,38.

Как устроено забывание

Механика простая. Действующая модель выбирает ранее полученные результаты вызовов инструментов и заменяет каждый короткой заметкой прямо на его исходной позиции в диалоге. Порядок сообщений и структура истории не ломаются. Точный оригинал при этом не удаляется, а попадает в архив, откуда его можно вернуть явной командой, если он снова понадобился.

Реализован подход в виде Python-обвязки (harness), которая даёт агенту два действия: пакетную архивацию и восстановление. Дообучать модель под задачу не нужно. Есть и защита: инструкции пользователя и сообщения ассистента этим операциям не подлежат. Забывать можно только наблюдения, но не то, что просил человек и что сам агент о себе сказал.

Что показали эксперименты

Основной кейс исследовательский: отладка с OpenTelemetry, за ней несвязанная задача на реализацию. Это как раз шумная траектория, где объёмные выводы нужны на пару шагов, а потом только мешают.

• Финальный промпт: 231 951 токен против 912 492 при сохранённой истории.
• Совокупные входные токены: на 50% меньше.
• Оценка стоимости API: $1,28–1,44 против примерно $4,38.
• Поведенческий тест: оба варианта прошли двухкейсовый основной оракул.
• Follow-up оценка: ни один вариант не удовлетворил её полностью.
• Издержки: больше запросов и на 17% больше времени выполнения.

Экономия токенов не равна экономии на всём. Агент тратит шаги на сам процесс курирования, и это видно по времени.

Где метод не сработал

Авторы честно приводят контрпримеры. На контрастной паре, связанной с разработкой приложения, экономии ни по контексту, ни по стоимости не получилось. Более ранний эксперимент с продолжением сессии показал ниже качество по ручной оценке, хотя контекст сократился. Выборка маленькая, кейсы эксплоративные, статистики здесь нет. Работа не доказывает, что приём годится везде. Она показывает, что выигрыш сильно зависит от характера нагрузки, и авторы называют эту зависимость центральным фактором для обратимого управления контекстом.

Что пробовать на практике

Если у вас агент с длинными сессиями отладки, разбором логов или поиском по большим выдачам, идея стоит эксперимента. Начните с наблюдений, которые легко восстановить: вывод тестов, трассировки, дампы. Оставьте инструкции и реплики ассистента нетронутыми, как в оригинальной схеме. Замеряйте не только токены, но и число запросов, время и качество результата на ваших задачах, потому что экономия может оказаться кажущейся. Для задач, где каждый фрагмент кода или конфигурации возвращается снова и снова, архивация может ничего не дать. Обратимость здесь страховка, а не гарантия: если агент забыл не то, ему придётся это заметить и запросить обратно.