Учёные выяснили: ИИ-агенты путают старые и новые факты в памяти даже после правильного поиска

Если у ИИ-агента есть долговременная память — например, он помнит переписку с пользователем за полгода или базу фактов о клиенте — рано или поздно в этой памяти накопятся противоречия: что-то было верно вчера, а сегодня уже не так. Группа исследователей из Отто-фон-Герике университета в Магдебурге (Германия) и университета Керала (Индия) задалась простым вопросом: если система поиска по памяти находит и старую, и новую версию факта, сможет ли языковая модель правильно выбрать актуальную?

Короткий ответ — не всегда, и чем больше «мусора» рядом с правильным фактом, тем хуже.

Как проверяли

Авторы взяли задачу FactConsolidation из бенчмарка MemoryAgentBench — набор пронумерованных утверждений, где более поздний номер означает более актуальную версию факта. Факты синтетические и специально противоречат обычным знаниям о мире (например, настоящий автор пьесы — не тот, кого назвала бы модель по памяти из интернета), чтобы точно проверять, использует ли модель именно предоставленный контекст, а не свои внутренние знания.

Тестировали две модели — Qwen2.5-7B-Instruct и Qwen3-14B, запущенные через Ollama на университетском GPU-сервере. Поиск релевантных утверждений делали алгоритмом BM25 (классический метод ранжирования текста по совпадению слов), подбирая разный объём «выдачи» — от 64 до 512 токенов.

Что обнаружили

Первый неожиданный результат: при увеличении объёма найденных данных с 64 до 512 токенов точность Qwen2.5 на истории из 455 утверждений упала с 45% до 32%. Казалось бы, больше контекста — больше шансов найти правильный ответ. Но дополнительная проверка показала: нужный, самый свежий факт присутствовал в выдаче абсолютно во всех 100 вопросах на каждом уровне объёма. Падение точности было вызвано не потерей нужной информации, а тем, что модель всё чаще путалась среди лишних данных и выбирала не тот факт.

Дальше авторы сузили эксперимент до чистого теста: взяли 74 вопроса, где у факта есть устаревшая версия, и сравнили два одинаковых по размеру набора из четырёх утверждений. В первом — актуальный факт плюс три случайных нерелевантных утверждения. Во втором — то же самое, но одно случайное утверждение заменили на устаревшую версию того же факта (актуальная версия при этом оставалась на месте).

Результат оказался резким:

• Qwen2.5-7B отвечала правильно на все 74 вопроса, когда рядом были только нерелевантные утверждения. Но когда одно из них заменяли на устаревший факт — точность упала до 33 правильных ответов из 74 (44,6%).
• Qwen3-14B показала себя устойчивее: точность снизилась с 100% до 87,8% (9 ошибок из 74).
• Абсолютно все ошибки в обоих случаях — это выбор именно старого, уже отменённого факта, а не случайный мусор или домыслы.

То есть устаревший факт того же размера оказался гораздо опаснее для модели, чем просто нерелевантный текст — хотя интуитивно казалось бы, что раз нужный ответ виден в контексте и прямо сказано «более новый номер важнее», модель должна справиться.

Эффект подтвердили и на более объёмной истории памяти — 2310 утверждений и 100 вопросов: точность при узкой выдаче (64 токена) составила 69%, при широкой (512 токенов) — 58%. Все ошибки на этой выборке тоже оказались выбором устаревшего факта.

Почему это важно

Главный практический вывод: нельзя оценивать систему памяти ИИ-агента одной общей цифрой точности. Нужно разделять два разных вопроса — нашла ли система поиска правильный, актуальный факт, и выбрала ли модель именно его, а не старую версию, если обе лежат в контексте. Если мерить только итоговую точность ответа, легко спутать проблему поиска с проблемой «мышления» модели — а решения для них разные.

Авторы предлагают конкретное направление для разработчиков систем памяти: не просто находить все релевантные факты и отдавать их модели как есть, а явно помечать устаревшие записи как неактивные или понижать их вес при выдаче, сохраняя при этом историю изменений для прозрачности. Иначе любая система, где память со временем обновляется — память CRM, личный ассистент, корпоративная база знаний, — рискует периодически выдавать пользователю давно отменённую информацию, даже если правильный актуальный факт технически «был найден».

Ограничение исследования: проверяли только две модели семейства Qwen на одном синтетическом бенчмарке с относительно простыми цепочками обновлений (не длиннее двух версий факта). Авторы честно признают, что не проверяли эффект на других семействах моделей и на системах с векторным (не лексическим) поиском — так что действительно универсальным выводом это пока не назвать, но сигнал явно стоит учитывать при проектировании памяти агентов.