Исследователи предложили Anti-Persistence: память LLM-агентов без хранимых правил

Агенты на LLM умеют учиться без дообучения: они записывают свои запуски во внешнюю память и используют их при следующих задачах. Но чем больше такая память накапливает готовых правил, сводок и навыков, тем выше риск, что одна ошибка начнёт воспроизводиться сама. Авторы свежей статьи с Hugging Face Daily Papers назвали этот эффект error reproduction. В ответ они предложили дизайн памяти Anti-Persistence: траектории и исходы копятся, а рекомендации под конкретную задачу собираются заново и после выполнения выбрасываются. По заявлению авторов, на разных бенчмарках и моделях-бэкбонах схема даёт самый высокий суммарный успех на отложенных задачах и самую низкую среднюю стоимость в вызовах LLM среди сравниваемых вариантов памяти.

Как ошибка воспроизводит сама себя

Стандартный выбор при проектировании памяти агента: хранить только сырые траектории с результатами или добавлять к ним выведенные абстракции. Абстракции удобны, потому что агенту не нужно каждый раз заново извлекать стратегию из длинных логов. Цена в том, что неверное правило попадает в контекст через поиск по памяти и влияет на решения.

Дальше начинается самое неприятное. Решения, принятые под влиянием плохого правила, формируют новые траектории. Из них агент выводит новые абстракции, и те повторяют исходную ошибку. Удаление или исправление первоначального правила проблему не закрывает: ошибка уже записана в накопленных траекториях и снова всплывёт в цикле «абстракция — исполнение — переабстракция». Авторы описывают это как продление жизни ошибки за пределы прямого повторного использования дефектного знания.

Что делает Anti-Persistence

Идея в разделении двух вещей: накопления опыта и постоянного хранения выводов из него. Память хранит траектории и исходы. Руководство для задачи синтезируется в момент запроса. Адаптивный селектор смотрит на прошлые исходы и решает, нужно ли вообще генерировать подсказку и в каком виде. После выполнения задачи подсказка удаляется, и как хранимый объект её повторно использовать нельзя.

Авторы честно оговаривают остаточный риск: косвенная обратная связь сохраняется, потому что подсказка влияла на траекторию, а траектория остаётся в памяти. Схема ослабляет цикл, но не обнуляет его.

Что заявлено в аннотации:

• Хранится: траектории и исходы выполнения; выведенные правила, сводки и навыки не хранятся.
• Рекомендации синтезируются по требованию, под конкретную задачу.
• Адаптивный селектор опирается на прошлые исходы и выбирает, нужна ли подсказка и какого типа.
• Результат: наивысший общий успех на отложенных задачах среди сравниваемых дизайнов памяти.
• Стоимость: самая низкая средняя цена в вызовах LLM.
• Проверка проведена на разных бенчмарках и бэкбонах.

Конкретных процентов и названий бенчмарков в аннотации нет, поэтому величину выигрыша оценить пока нельзя. Нужно смотреть полный текст статьи и таблицы.

Что проверить в своём агенте

Если вы строите агента с самообучающейся памятью, статья даёт несколько практических ориентиров.

Первое: разделите в архитектуре «журнал опыта» и «слой выводов». Журнал можно копить без ограничений, а слой выводов стоит считать кэшем, который можно сбросить, а не источником истины.

Второе: при отладке деградации агента проверяйте не только сами правила. Если исправленное правило не помогло и ошибки возвращаются, виноваты могут быть траектории, порождённые под его влиянием.

Третье: следите за стоимостью. Интуитивно кажется, что синтез подсказок на лету дороже готовых правил. Авторы утверждают обратное: у них такой дизайн оказался самым дешёвым по числу вызовов LLM, вероятно, потому что селектор пропускает ненужные синтезы и память не раздувается абстракциями. Эту гипотезу стоит проверить на собственной нагрузке.

Наконец, результат относится к конкретным бенчмаркам. Прежде чем переписывать память в продакшене, прогоните на своих задачах A/B-сравнение Anti-Persistence с хранением навыков и посмотрите, как меняется успех на отложенных задачах со временем.