MemT-1.0 встраивает память в саму модель: хранилище меньше в 66 раз при 128K

Авторы MemT-1.0 предлагают перестать подпирать языковую модель внешними хранилищами и сделать память частью вычислений самой сети. При истории в 128K токенов младшая модель семейства, MemT-1.0-Nano, показывает примерно 1,86-кратное ускорение сквозного инференса и сокращает постоянное хранилище в 66 раз по сравнению с полным KV-кэшем. Всего выпущены две модели, Nano и Flash, а обучение опиралось на 34B токенов данных.

Память как часть вычислений

Большинство современных систем решает проблему длинного контекста двумя путями. Первый — таскать за собой весь KV-кэш, который растёт вместе с историей. Второй — подключать retrieval: искать нужные фрагменты во внешней базе и подмешивать их в промпт. У обоих подходов своя цена: память или задержка в первом случае, архитектурная сложность и зависимость от качества поиска во втором.

MemT-1.0 идёт третьим путём. Авторы называют его memory-native evolution: память должна быть встроенной способностью foundation-модели, которая позволяет непрерывно накапливать информацию и использовать её. Архитектура строится на базе Metis и использует Gated DeltaNet-2 — механизм со стабильным обновлением памяти на уровне токенов внутри каждого хода диалога. Для масштабирования ёмкости добавлен Mixture-of-Storage, то есть нативная память растёт не за счёт раздувания контекста.

Как обучали

Перед основным обучением команда провела отдельную подготовку backbone. Дальше последовал двухэтапный пайплайн: continued pre-training и post-training. Общий объём данных составил 34B токенов, что для такого класса работ скромно и говорит о том, что модель дообучалась на готовой основе, а не растилась с нуля. Отдельно авторы упоминают специализированную инфраструктуру для эффективного обучения и инференса, подробности которой в аннотации не раскрыты.

Что показали замеры

Оценка охватывала и способности к памяти, и общие навыки модели. Ключевые результаты из описания работы:

• MemT-1.0 в среднем превосходит базлайны с параметрической памятью;
• остаётся конкурентной по сравнению с методами на основе retrieval-augmented generation;
• в основном сохраняет общие способности, то есть дообучение под память не разрушило базовые навыки;
• MemT-1.0-Nano при истории 128K токенов ускоряет сквозной инференс примерно в 1,86 раза относительно полного контекста с KV-кэшем;
• постоянное хранилище сокращается в 66 раз;
• на агентных задачах растёт доля успешных прогонов благодаря тому, что модель усваивает извлечённый процедурный опыт.

Формулировка «конкурентна с RAG» честно отражает положение дел: превосходства над поиском авторы не заявляют. Это важно, потому что именно retrieval остаётся рабочей лошадкой в продакшене. Цифры по конкретным бенчмаркам и размерам моделей в аннотации не приводятся, так что оценить масштаб отрыва от базлайнов можно только по полному тексту статьи.

Где это может пригодиться

Самый очевидный сценарий — агенты, которые работают долго и должны помнить, что уже пробовали и что сработало. Если процедурный опыт зашит в состояние модели, не нужно каждый раз заново вытаскивать его из базы и тратить на это токены контекста. Для разработчиков ассистентов и кодинг-агентов экономия хранилища в 66 раз означает, что персональную историю пользователя можно держать компактнее и дешевле, а на длинных диалогах выигрыш в скорости растёт вместе с длиной контекста.

Осторожность тоже уместна. Результаты получены на двух небольших моделях, а утверждение про сохранение общих способностей сформулировано как «в основном». Прежде чем заменять retrieval-пайплайн, стоит дождаться независимых проверок, посмотреть на поведение при ошибочных или устаревших записях в памяти и оценить, как нативная память уживается с требованиями к аудиту и удалению данных. Но направление понятное: память перестаёт быть надстройкой и становится свойством архитектуры.