DeepSeek ужала кэш памяти модели до 890 байт на токен вместо 3514

DeepSeek выложила на Hugging Face модель DeepSeek-V4.1-Flash и опубликовала статью, в которой больше всего места занимает не качество ответов, а цена хранения памяти. Когда языковая модель читает длинный текст, она запоминает для каждого токена промежуточные данные механизма внимания. Это и есть KV-кэш. Он нужен, чтобы не пересчитывать всё заново при генерации каждого следующего слова. Чем длиннее контекст, тем он тяжелее. В V4.1-Flash глобальный кэш в HBM (самой быстрой памяти видеокарты) занимает 890 байт на токен. У предыдущей V4-Flash было 3514. Для сессии в миллион токенов это примерно 0,9 ГБ вместо 3,5 ГБ.

Модель мультимодальная, построена по схеме MoE (mixture of experts): на каждый токен работает только часть экспертов. В основном стволе у неё 552 млрд параметров. Ещё 196 млрд лежат в таблицах памяти Engram. Контекст рассчитан на 1M токенов. В статье около 500 авторов. Кода обучения нет, но веса опубликованы.

Три приёма, которые удешевили обслуживание

Главная архитектурная новинка — каузальная схема энкодер-декодер, сокращённо CED. Почти все топовые открытые модели построены по схеме decoder-only, где один и тот же стек слоёв и читает запрос, и пишет ответ. Здесь стек разделён. На префилле, когда модель прочитывает промпт, активны 8 млрд параметров. При декодировании, то есть при генерации ответа, их уже 16 млрд. Это родственник идеи YOCO, где кэш считают один раз и затем переиспользуют.

Второй приём — механизм внимания CSA2. Он берёт кэш в формате FP4, то есть хранит числа всего в четырёх битах, и переиспользует его между слоями. Раньше каждый слой держал собственную копию.

Третий приём — SWA Bounded Replay. Скользящее окно внимания смотрит только на последние токены, и его локальный кэш раньше приходилось записывать на диск, чтобы продолжить сессию позже. Теперь его не пишут: при возобновлении ограниченный фрагмент пересчитывают заново. Вычисления тратятся, зато диск разгружен.

Итог по памяти:

• кэш в HBM: 890 байт на токен вместо 3514, то есть почти в 4 раза меньше;
• долговременный кэш на SSD: примерно 1/8 от объёма у V4-Flash;
• активные параметры: 8 млрд на префилле и 16 млрд при декодировании.

Что показали бенчмарки

Одной экономии мало, если модель стала глупее. Поэтому авторы сравнили её с предшественницей и с закрытой Opus-5 на агентных задачах, где модель сама работает с кодом и терминалом.

• DeepSWE v1.1 — набор задач по программной инженерии: агент правит код, чтобы устранить конкретную проблему. V4.1-Flash решает 74,2%. У V4-Flash было 54,4%, у Opus-5 — 74,0%.
• Terminal-Bench 2.1 — задачи в командной строке. Pass@1, то есть доля задач, решённых с первой попытки, у V4.1-Flash составляет 90,6%. У V4-Flash — 82,7%, у Opus-5 — 89,1%.

Прирост на DeepSWE почти в 20 процентных пунктов заметный. На обоих тестах открытая модель обошла закрытую, хотя на DeepSWE разрыв в 0,2 пункта лежит в пределах обычного шума.

Где остаются вопросы

Практический смысл работы в том, что агентные сессии на миллион токенов теперь упираются в вычисления, а не в объём HBM или SSD под кэш. Длинная сессия агента, который неделями копит историю правок и логов терминала, обходится дешевле. На одной карте можно держать больше таких сессий одновременно. Для компаний, которые сами хостят модели, это прямая экономия на железе.

При этом есть оговорки. Авторы не показали покомпонентных абляций, то есть не отключали приёмы по одному, и непонятно, какой из трёх даёт основную экономию. Нет и кривых качества поиска по контексту на полном миллионе токенов. Заявленное «окно в 1M» подтверждено слабее, чем хотелось бы. На сложных научных задачах Terminal-Bench 4.0 модель заметно уступает: 31,2% против 51,8% у Opus-5.

Отдельно интересно, что среди крупных открытых моделей V4.1-Flash, кажется, единственная ушла от чистого decoder-only. Раньше такой ход встречался разве что в T5Gemma с архитектурой энкодер-декодер. Если выигрыш подтвердят независимые замеры, другие лаборатории могут перенять разделение стека на чтение и генерацию.