В DeepSeek-V4.1-Flash KV-кэш в HBM сократили до 890 байт на токен вместо 3514

DeepSeek представила V4.1-Flash — мультимодальную MoE-модель с контекстом в 1M токенов. В основном стволе у неё 552B параметров, ещё 196B лежат в таблицах памяти Engram. Главный результат относится к обслуживанию: глобальный KV-кэш в HBM ужат до 890 байт на токен, тогда как у предыдущей DeepSeek-V4-Flash он занимал 3514 байт. Долговременный кэш на SSD сократился примерно до одной восьмой от прежнего объёма. Для агентных сессий в миллион токенов это снимает главное узкое место: память под кэш перестаёт определять, сколько сессий потянет сервер.

Пост в Telegram-канале gonzo_ML ссылается на статью примерно с 500 авторами (arXiv 2609.19969), обзор на Substack и веса на Hugging Face. Кода в открытом доступе нет, в карточке указано N/A.

Три механизма экономии памяти

Первый механизм — каузальная схема энкодер-декодер, CED. Модель отходит от привычного decoder-only: на префилле, когда читается длинный промпт, активны 8B параметров, а при генерации ответа — 16B. Автор обзора отмечает, что это, похоже, единственная из топовых открытых моделей с такой архитектурой. Ближайшие аналоги — encoder-decoder T5Gemma и декодер-декодерная схема YOCO.

Второй механизм — внимание CSA2. Оно переиспользует кэш в формате FP4 между слоями, поэтому каждому слою не нужно хранить собственную копию. Именно здесь получается основная часть сжатия до 890 байт на токен.

Третий механизм — ограниченный пересчёт скользящего окна, SWA Bounded Replay. Локальный кэш скользящего окна теперь не пишется на диск, а при необходимости восстанавливается пересчётом на ограниченном участке. Это убирает часть нагрузки на SSD и объясняет, почему объём дискового кэша упал примерно в восемь раз.

Бенчмарки: паритет с Opus-5 на агентных задачах

На DeepSWE v1.1 (набор задач по исправлению ошибок в реальных репозиториях) V4.1-Flash решает 74,2% задач. У V4-Flash этот показатель равен 54,4%, у Opus-5 — 74,0%. На Terminal-Bench 2.1 (задачи для агента в командной строке) модель набирает 90,6% Pass@1, то есть решает задачу с первой попытки. У V4-Flash здесь 82,7%, у Opus-5 — 89,1%.

Получается, что обновление не только удешевило инференс, но и подняло качество в кодинге и терминальных сценариях. Прирост на DeepSWE составляет около 20 процентных пунктов к предшественнице. Для разработчиков, которые строят долгие агентные циклы, это заметный довод в пользу открытой модели.

Чего в статье нет

Есть и ограничения. В работе нет покомпонентных абляций, поэтому неясно, какой вклад в экономию памяти и в качество вносят CED, CSA2 и пересчёт окна по отдельности. Нет и кривых качества поиска по контексту на 1M токенов. Заявленные 890 байт на токен показывают стоимость хранения, но не доказывают, что модель надёжно находит нужный фрагмент на всей длине.

На сложных научных задачах результат заметно скромнее. На Terminal-Bench 4.0 V4.1-Flash набирает 31,2%, а Opus-5 — 51,8%. Паритет с закрытой системой подтверждается на Terminal-Bench 2.1 и DeepSWE v1.1, но не на самом тяжёлом из перечисленных бенчмарков.

Практический вывод для тех, кто разворачивает модели самостоятельно: по данным статьи, при контексте в миллион токенов ограничением становятся вычисления, а не HBM или SSD под кэш. Это меняет расчёт стоимости длинных агентных сессий. Но пока не вышли код, абляции и независимые замеры длинного контекста, цифры остаются заявлениями авторов. Веса можно скачать и проверить на своих задачах.