Deep Fusion Memory сокращает поиск в 32 раза и бьёт бейзлайны на 12,7%

Исследователи предложили Deep Fusion Memory (DFM), параметрическую память для больших языковых моделей, которая встраивает внешние знания в скрытые состояния и не требует поиска по базе во время ответа. Построить обучающие данные для такой памяти выходит в 32 раза дешевле по числу поисковых запросов и в 2048 раз дешевле по числу извлечённых элементов, чем у существующих параметрических подходов. На шести QA-бенчмарках DFM опережает сильнейший бейзлайн на 12,71% на Mistral-7B-v0.3 и на 11,19% на Qwen3-8B-Base.

Три способа научить модель новому, и у каждого своя цена

Задача знакомая каждому, кто выводил LLM в прикладной продукт: модель должна знать то, чего не было в её претрейне. Это закрытые документы компании, медицинская литература, свежие данные. Классические пути упираются в компромиссы. Дообучение на новом корпусе рискует катастрофическим забыванием, когда модель осваивает новое и теряет старое. RAG честно подтягивает документы, но каждый запрос превращается в поиск, а контекст раздувается, и это прямые затраты на задержку и токены.

Третий путь — внешняя параметрическая память. Знания лежат в отдельных обучаемых параметрах, а поиска в рантайме нет. Но у неё два изъяна, которые и атакует DFM. Во-первых, подготовка данных для обучения такой памяти требует огромного офлайн-поиска, потому что цели строятся на уровне отдельных токенов. Во-вторых, память обычно смешивают с выходом модели интерполяцией на уровне распределения вероятностей. Это поверхностное слияние: знания не влияют на то, как модель «думает» внутри слоёв.

Предсказатель памяти вместо поиска

DFM переносит работу с токенов на чанки. Каузальный предсказатель памяти по предыдущему контексту генерирует вектор памяти. Обучается он на эмбеддингах чанков, найденных в корпусе: они служат сигналом supervision. Предсказанная память общая для всех токенов внутри чанка, поэтому запросов к корпусу нужно кратно меньше. Отсюда и экономия в 32 раза по запросам и в 2048 раз по извлечённым элементам.

Вторая часть схемы — глубокое слияние. Память попадает в скрытые состояния через gated cross-attention, то есть с обучаемым вентилем, который регулирует, сколько внешнего знания пропустить в конкретной точке. Предсказатель и модуль слияния учатся сквозным образом, а сама базовая модель заморожена. Её исходные способности не трогают, что напрямую отвечает на проблему забывания. На инференсе никакого явного поиска нет: память предсказывается из контекста.

Что показали замеры

• Шесть QA-задач: +12,71% к сильнейшему бейзлайну на Mistral-7B-v0.3.
• Те же задачи на Qwen3-8B-Base: +11,19%.
• Доменная адаптация: в среднем +6,51 пункта к Qwen3-4B-Base и +4,38 к Qwen3-8B-Base.
• Стоимость построения обучающих данных: в 32 раза меньше запросов и в 2048 раза меньше извлечённых элементов, чем у методов с токенными целями.
• Backbone заморожен, поиск при инференсе не нужен.

Обратите внимание на разницу в доменной адаптации: у модели на 4B выигрыш больше, чем у 8B. Это логично, если память компенсирует нехватку собственных знаний. Меньшим моделям, которые часто запускают на ограниченном железе, такая надстройка полезнее.

Кому это пригодится на практике

Для команд, которые строят доменные ассистенты на открытых моделях, DFM выглядит как промежуточный вариант между RAG и дообучением. Он не добавляет в каждый запрос поисковый вызов и не требует размораживать веса. Это особенно важно там, где задержка критична, а корпус знаний стабилен: внутренняя документация, техническая поддержка, профессиональные справочники.

Ограничения тоже понятны из самой схемы. Корпус всё равно нужно один раз обработать офлайн, чтобы получить эмбеддинги чанков для обучения. Если знания меняются ежедневно, переобучать предсказатель дороже, чем обновить индекс RAG. Поэтому DFM скорее дополнит retrieval, чем вытеснит его: для быстро устаревающих данных поиск останется удобнее, а для устойчивых предметных областей параметрическая память с глубоким слиянием становится серьёзной альтернативой. Главное, что показывает работа: удешевление подготовки данных на несколько порядков не стоило качества, а в QA оно даже выросло двузначными процентами.