SLICE-Mem: память LLM-агентов без генерации режет расход токенов на 92–99%

Долговременная память делает LLM-агента похожим на собеседника, который помнит, что вы говорили на прошлой неделе. Но обходится она дорого: почти каждый шаг, от решения «сохранять или нет» до выделения фактов и их организации, требует отдельного вызова большой модели. Команда Xiaobin Chen и ещё четырёх авторов предлагает SLICE-Mem, фреймворк, в котором онлайн-часть пайплайна вообще не использует генеративные LLM. На Qwen3-30B он почти догоняет генеративный бейзлайн MemOS по качеству и тратит на 92,4% (Memora Weekly) и 99,5% (LongMemEval-S) меньше токенов.

Фильтр на входе вместо модели на каждом шаге

В большинстве систем памяти для агентов LLM работает как универсальный клерк. Она читает реплику, определяет, достойна ли та сохранения, переписывает её в факт и сверяет с уже накопленным. Каждая такая операция добавляет задержку и счёт за токены, причём растут они вместе с длиной диалога.

SLICE-Mem разбивает работу на два контура. Онлайн-контур состоит из двух лёгких компонентов:

• компактный классификатор оценивает значимость (salience) пользовательских реплик и пропускает в память только те, что стоит удерживать;
• экстрактор на основе семантических зависимостей строит из принятых реплик краткие записи, опираясь на предикат, то есть на действие или состояние, вокруг которого строится высказывание.

Оба шага обходятся без генерации текста большой моделью. Фильтрация отсекает болтовню и бытовые связки, а предикатно-центричное извлечение превращает оставшееся в компактные единицы памяти.

Сверка записей откладывается на ночь

Самое тонкое место любой памяти — противоречия и дубли. Пользователь переехал, сменил работу или передумал, и новые записи должны корректно соотноситься со старыми. Здесь авторы всё же используют LLM, но не в реальном времени. Согласование между записями вынесено в офлайн-стадию консолидации, которая запускается отдельно от диалога.

Такое разделение переносит дорогую работу туда, где нет жёстких требований к задержке. Пользователь не ждёт, пока модель перечитает всю память после каждой реплики. Если консолидацию можно запускать пакетами, её стоимость тоже становится управляемой.

Что показали бенчмарки

Авторы оценивали систему на недельном подмножестве Memora и на LongMemEval-S. Для построения памяти и консолидации использовали две модели семейства Qwen: на 8B и на 30B параметров. Главное сравнение проводилось с генеративным бейзлайном MemOS в конфигурации Qwen3-30B.

• Memora Weekly, метрика FAMA (Forgetting-Aware Memory Accuracy): 46,60 у онлайн-пайплайна SLICE-Mem против 46,68 у MemOS, разница 0,08 пункта.
• LongMemEval-S, точность: 56,8% против 59,3%, отставание 2,5 пункта.
• Суммарный расход токенов LLM: меньше на 92,4% на Memora Weekly и на 99,5% на LongMemEval-S.

На Memora результат практически совпадает с MemOS. На LongMemEval-S заметен небольшой проигрыш, зато экономия достигает почти двух порядков. Авторы делают вывод, что полезные свидетельства для долговременной памяти можно сохранять, существенно меньше полагаясь на LLM при её построении.

Где это пригодится на практике

Для команд, которые строят персональных ассистентов, поддержку или кодинг-агентов с памятью между сессиями, статья задаёт понятный ориентир. Если счёт за токены на «бухгалтерию памяти» сопоставим со счётом за сами ответы, стоит проверить, нужна ли генерация на входе. Классификатор значимости и синтаксический разбор работают быстро, их можно держать рядом с сервисом и не гонять через внешний API.

Ограничения тоже видны. Результаты получены на двух бенчмарках и на моделях Qwen, а сравнение с MemOS приведено для одной конфигурации. Разрыв в 2,5 пункта на LongMemEval-S означает, что для задач с жёсткими требованиями к полноте памяти выбор зависит от цены ошибки. Но как инженерный паттерн «дешёвый фильтр онлайн, умная сверка офлайн» выглядит рабочим. Он снижает задержку, делает стоимость памяти предсказуемой и оставляет большую модель для тех мест, где без неё действительно не обойтись.