DeepSeek открыла DeepInfer: 155 трлн токенов в сутки и маржа 80%

DeepSeek выложила в открытый доступ DeepInfer, движок, на котором крутится V4.1 Flash. Вместе с кодом вышел инженерный отчёт с продакшен-цифрами: 155 трлн токенов в сутки с одного кластера, 96% попаданий во входной кэш, средний time to first token 400 мс, генерация 230 токенов/с (до 300 для кода). По расчётам Latent Space, при внеочередных ценах $0,15 за млн входных и $0,60 за млн выходных токенов это около $22 млн выручки в день и порядка $38 на ускоритель в час.

Откуда берётся маржа 80%

Арифметика такая. 155 млн млн токенов по смешанной цене около $0,14 дают примерно $1 млн в час. Полная стоимость карты, по оценке автора разбора, составляет $5–8 в час. Отсюда маржа инференса выше 80%, а срок окупаемости кластера около 81 дня. Это оценка Latent Space, DeepSeek сама планирует окупаемость за 10 месяцев.

Важная оговорка: 155 трлн обслуженных токенов не равны 155 трлн сгенерированных. При 96% кэш-хитов почти весь вход берётся из хранилища, а считается заново малая часть. Цифры первичные, независимого аудита нет, и итог чувствителен к составу нагрузки, учёту кэша и набору включённых расходов.

Как устроен стек

DeepInfer разделяет vision encoding, prefill и decode, и каждая стадия масштабируется по своему узкому месту. Prefill рекомендуют запускать на обычных восьмиускорительных машинах, decode на суперузлах из 64–128 ускорителей с wide expert parallelism для MoE.

• Prefill-планировщик оценивает стоимость attention и режет чанки под временной бюджет, а не под фиксированный размер.
• Prefill-маршрутизация не привязана к кэшу: префиксы лежат в общем хранилище, запрос уходит на любой свободный воркер.
• Decode-роутинг учитывает число активных запросов и длину KV-кэша.
• Популярные эксперты реплицируются и периодически перераспределяются, за это платят памятью HBM.
• CPU-планировщик работает асинхронно и убирает паузы между шагами decode.
• В раскрытой конфигурации для Blackwell, судя по разбору, нет tensor parallelism.

Кэш держится на кластере 3FS с примерно 100 PiB SSD. Хранение длится 3 дня для агентов и 7 для чатов. Состояние sliding-window attention остаётся в памяти хоста. Метод SWA Bounded Replay восстанавливает недостающее короткоживущее состояние по последним 128 токенам и, по данным DeepSeek, почти вдвое сокращает вычисления prefill. Адаптивная спекулятивная верификация DSpark даёт +6% к продакшен-пропускной способности относительно фиксированной проверки пяти черновых токенов.

Компонент deepseek-recipe закрывает интерфейс: Chat Completions, Responses и Messages API, параллельную токенизацию и различие настоящих управляющих токенов и таких же строк в пользовательском тексте. Это не полноценная защита от prompt injection.

Что открыто, а что нет

Команда называет релиз полностью открытым, но из технического описания следует, что управление KV-кэшем и балансировщик нагрузки пока не выложены полностью. Они завязаны на внутреннюю инфраструктуру. Свою долю составляет и 3FS, выложенная ранее. Оркестрация уровня сервиса остаётся задачей того, кто разворачивает стек.

Комьюнити-оценки вторичны: 196B параметров Engram, 552B экспертных параметров, DP64/EP64, в основном 4-битные веса, сжатие KV в 400 раз относительно GQA. Первоисточник этих деталей не подтверждает.

vLLM ответила бенчмарками. DeepInfer изначально строился на vLLM, а команда проекта показала decode-throughput в пределах 6% от опубликованного DeepSeek на GB200 при сопоставимой конфигурации и выложила рецепты и результаты AgentX. Это паритет одной стадии, а не воспроизведение всего сервиса: кэш на 100 PiB, маршрутизация и доступность в этот результат не входят.

Параллельно OpenAI анонсировала 12-часовое кэширование промптов в API вместо 30 минут по умолчанию. Продукты разные, но цель одна: агенты, которые возвращаются к длинному контексту через часы.

Команде, которая строит агентный сервис, из релиза стоит взять три вещи. Первая: считать экономику по доле кэш-хитов и сроку хранения префиксов, а не по цене за токен. Вторая: развести prefill и decode по разным пулам и балансировать prefill по оценке вычислений. Третья: проверить vLLM на своей нагрузке, потому что декодирование там уже близко к результатам DeepSeek, а основной разрыв лежит в слое кэша и оркестрации.