Устаревшие факты в памяти агента роняют точность Qwen2.5 со 100% до 44,6%

Больше найденного контекста не значит лучше ответ. Исследователи из группы Oleeviya Babu Poikarayil (семь авторов) показали это на задаче FactConsolidation из бенчмарка MemoryAgentBench. Qwen2.5-7B-Instruct с поиском BM25 на истории в 6K токенов отвечает правильно в 45% случаев, когда ему дают 64 токена найденных свидетельств. При 512 токенах точность падает до 32%. Это происходит, хотя аудит с «золотой» разметкой нашёл самое свежее утверждение в каждой выдаче без исключений.

Где ломается цепочка: поиск или чтение

Многие бенчмарки памяти для агентов выдают один итоговый балл за связку «нашли и ответили». Если балл упал, непонятно, поиск не достал обновление или модель получила его и всё равно не использовала. Авторы разделили эти два шага. На single-hop варианте FactConsolidation они проверили, лежит ли актуальная версия факта среди найденных фрагментов. Она лежала всегда. Значит, проблема в том, как модель читает выдачу.

Большинство ошибок пришлось на вопросы, где рядом с новым утверждением попала и его устаревшая версия. Расширенный бюджет повышает вероятность, что в контекст проскочит старая запись о том же объекте. Модель видит два конфликтующих утверждения и часто выбирает не то.

Контролируемый эксперимент: старый факт против нейтрального

Чтобы исключить влияние длины, авторы зафиксировали промпт и размер свидетельств: четыре утверждения. В одной конфигурации одно из них было посторонним. В другой его заменили на устаревшую конкурирующую версию нужного факта. Объём контекста остался прежним, изменился только характер одного утверждения.

• Qwen2.5-7B-Instruct: точность падает со 100% до 44,6%.
• Qwen3-14B: падение со 100% до 87,8%.
• Все 50 вредных парных переключений (ответ был верным и стал неверным) классифицированы как stale, то есть ответ взят из устаревшего утверждения.

Вывод авторов: устаревшее утверждение вредит сильнее нейтрального свидетельства того же размера. Лишние токены сами по себе не виноваты. Виноват конфликтующий контент, который выглядит релевантным.

Повторение на длинной истории

На истории в 32K токенов картина совпала. BM25 с бюджетом 64 токена даёт 69%, а с бюджетом 512 токенов только 58%. Узкая выдача снова обгоняет широкую. Работа принята на NeurIPS 2026 Workshop on Personalized, Aligned, Long-Term Memory for AI Systems (PALM), в ней 23 страницы с приложениями.

Что менять в агентских системах

Это выводы из результатов статьи, а не рецепты, проверенные самими авторами. Но они напрашиваются.

• Метрики. Нужно мерить отдельно recall выдачи (есть ли актуальный факт) и качество чтения (использован ли он). Один сквозной показатель маскирует причину сбоя.
• Бюджет контекста. Подбирать его надо на конкретной задаче. На обоих тестах 64 токена показали лучший результат, чем 512, а ещё дешевле по токенам на каждый вызов. Для агентов с длинной сессией такая экономия накапливается.
• Запись в память. Если новое утверждение заменяет старое, стоит помечать старое как замещённое или удалять при записи, а не надеяться, что модель разберётся при чтении. Метки времени и версий в выдаче тоже должны помогать.
• Постобработка выдачи. Перед подачей в модель разумно группировать утверждения об одном объекте и оставлять только самое свежее. Особенно важно для небольших моделей: разрыв между Qwen2.5-7B и Qwen3-14B показывает, что более сильная модель устойчивее, но не застрахована.

Для тех, кто строит персональных ассистентов и кодовых агентов с долгой памятью, пользователи постоянно меняют предпочтения, адреса и настройки, поэтому устаревшие версии накапливаются неизбежно. Увеличить окно выдачи «на всякий случай» оказывается рискованнее, чем кажется. Раньше надо думать о том, что вообще попадёт в хранилище и как оно будет очищаться.