TokenWorth учит ИИ-агентов забывать: лучший результат на трёх средах при минимуме токенов

Агент, который копит опыт после развёртывания, должен решать, что из накопленного стоит хранить и подставлять в контекст. Исследователи показали, что при жёстких бюджетах эта задача определяет итог. Их метод TokenWorth на трёх средах LifelongAgentBench, как с локальными моделями, так и с API, дал самый высокий процент успешно выполненных задач и при этом израсходовал меньше всех выходных токенов среди сравниваемых подходов.

Когда память мешает

Идея «агент учится на прошлых задачах» стала почти стандартной для длинных сценариев. В лабораторных условиях бюджеты щедрые: можно долго рассуждать, делать много шагов взаимодействия и держать большой архив опыта. В реальной эксплуатации всё иначе. Лимиты на генерацию, число обращений к среде и объём памяти действуют одновременно.

При таких ограничениях авторы увидели неприятную картину. Несколько продвинутых методов долговременной памяти давали мало преимущества перед простым поиском похожих эпизодов. Некоторые не обгоняли даже агента без памяти. Объяснение в том, что каждое решение о памяти становится дорогим. Если в контекст помещаются два-три эпизода, а на рассуждение и исправление ошибок остаётся мало попыток, один подходящий по теме, но бесполезный пример отнимает место и сбивает исполнение.

Как устроен TokenWorth

Главный сдвиг в постановке вопроса: релевантность и полезность — разные величины. Эпизод может быть очень похож на текущий запрос и всё равно не помогать. TokenWorth оценивает «ценность» воспоминания для конкретного запроса. Эту оценку он обучает онлайн, по разреженной обратной связи: успешно ли завершилась задача, в которой использовали этот опыт.

Одна и та же оценка работает на двух уровнях. Она ранжирует воспоминания при поиске и решает, что оставить при ограниченном хранилище, а что вытеснить. Отдельных эвристик для retrieval и для управления памятью нет. Фреймворк называют лёгким: он не требует тяжёлой надстройки над агентом и дообучения самой модели.

Что известно из описания работы:

• Тестовая база: три среды LifelongAgentBench.
• Режимы развёртывания: локальные модели и API.
• Сигнал обучения: разреженная обратная связь от выполнения задач.
• Результат: наивысший success rate среди оцененных методов.
• Расход: наименьшее число выходных токенов.
• Код открыт в репозитории AIGNLAI/TokenWorth на GitHub.

В аннотации нет конкретных процентов прироста и названий конкурирующих методов, поэтому масштаб преимущества можно оценить только по полному тексту статьи и по запуску кода.

На что обратить внимание разработчикам агентов

Самое интересное здесь то, что выигрыш по качеству и экономия токенов идут вместе. Обычно за точность платят длиной рассуждений. Если метод отсекает вредные воспоминания, агент тратит меньше шагов на возню с лишним контекстом, и счёт за API снижается вместе с ростом успешности.

Практический вывод для тех, кто строит агентов с долговременной памятью. Во-первых, стоит замерять эффект памяти против базовых вариантов: простого retrieval и запуска без памяти. Если сложная схема их не обгоняет при вашем бюджете, она только усложняет систему. Во-вторых, полезно логировать, какие эпизоды попадали в контекст и чем закончилась задача: это готовый сигнал для оценки ценности. В-третьих, политику вытеснения лучше связать с тем же сигналом, а не с давностью или частотой обращений. Наконец, результат нужно проверить на своих задачах: три среды одного бенчмарка не гарантируют того же эффекта в продакшене. Открытый код позволяет сделать это без больших затрат.