Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарX: @raiharsh88→ оригинал

Инженер прикинул раздачу 10 млн токенов/с: 130 ТБ кэша и 700 узлов на MoE

Чтобы чат-бот печатал ответы 200 тысячам людей сразу со скоростью 50 токенов в секунду, нужно выдавать 10 млн токенов в секунду. Упирается это в память: кэш диалогов модели 70B при 4 тысячах токенов контекста займёт около 130 ТБ. По прикидке инженера @raiharsh88, MoE-модель класса DeepSeek-V3 потянет это на 700 узлах декода, а плотной 70B нужно 3–4 тысячи H100. Считайте бюджет от памяти, а не от числа параметров.

AI-обработка оригинала X: @raiharsh88; редакция Hamidun News
Инженер прикинул раздачу 10 млн токенов/с: 130 ТБ кэша и 700 узлов на MoE
Источник: X: @raiharsh88. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @raiharsh88 ↗
Главный редактор
Ключевой факт #1Prefill и decode держат на разных пулах GPU, кэш пересылают по RDMA
Ключевой факт #2Спекулятивный декодинг и MTP-головы дают близко к 2× на каждой GPU
Ключевой факт #3Маршрутизация на реплику с готовым префиксом пропускает большую часть prefill

Представьте чат-бот на открытой модели, которому одновременно пишут 200 тысяч человек, и каждому он печатает ответ со скоростью около 50 токенов в секунду (токен — это примерно слово или его часть). Суммарно получается 10 миллионов выходных токенов в секунду. Инженер @raiharsh88 выложил разбор того, как он строил бы такую систему, и главный вывод неожиданный: сложнее всего не сама модель, а память. Каждому из 200 тысяч диалогов нужно хранить уже сказанное — так называемый KV-кэш, и вместе эти кэши занимают около 130 терабайт. Это оценка «на салфетке», а не измеренный бенчмарк, но арифметика полезна всем, кто планирует собственный инференс.

Сначала арифметика: всё упирается в память

Исходная прикидка простая. 10 миллионов токенов в секунду, делённые на 50 токенов в секунду на пользователя, дают около 200 тысяч одновременных потоков.

У каждого потока есть KV-кэш — «рабочая память» модели о том, что уже было в диалоге. Для модели 70B с групповым вниманием (GQA) и кэшем в fp8 это примерно 160 КБ на токен. При контексте в 4 тысячи токенов выходит около 640 МБ на один диалог, а на все 200 тысяч — порядка 130 ТБ. Автор делает вывод: большая часть проектной задачи — это память, а не вычисления.

Как автор собрал бы систему

Разделение стадий. Prefill (модель читает ваш запрос) упирается в вычисления, а decode (она печатает ответ по одному токену) — в пропускную способность памяти. Если гонять их на одних и тех же GPU, страдают обе стадии. Поэтому автор предлагает два отдельных пула GPU, а готовый кэш пересылать между ними по RDMA — быстрой сети с прямым доступом к памяти. Так делают DistServe и Mooncake.

Внутри каждой GPU. Непрерывный батчинг (новые запросы подсаживаются в пачку на ходу), постраничный KV-кэш, веса в fp8, а на Blackwell — в fp4. Размер пачки нужно делать настолько большим, насколько позволяет целевая задержка. Сверху добавляются спекулятивный декодинг или MTP-головы (модель угадывает несколько токенов вперёд, а потом проверяет догадку), и вместе это даёт близко к двукратному ускорению.

Выбор архитектуры. Автор ставит на MoE: в такой модели на каждый токен работает лишь часть параметров, поэтому с одной GPU снимается больше токенов. По его оценке, для модели размера DeepSeek-V3 с широким параллелизмом по экспертам потребуется около 700 узлов декода. Плотной модели 70B на тот же поток нужно 3–4 тысячи H100.

Маршрутизация. По мнению автора, она важнее, чем кажется. Системные промпты и длинные чаты сильно повторяются. Допустим, у всех запросов один и тот же длинный системный промпт: если отправить новый запрос на реплику, где он уже лежит в кэше, большая часть prefill пропускается. Простаивающий кэш можно выгружать в оперативную память CPU или на NVMe — это дешевле, чем считать его заново.

Эксплуатация и оговорки

Автоскейлить, по совету автора, нужно по глубине очереди и заполнению KV-кэша, а не по загрузке CPU. Загрузка модели занимает минуты, поэтому нужны прогретые резервные реплики. Работать стоит в нескольких регионах, а свободные «окна» в загрузке заполнять пакетными задачами, которым не нужен быстрый ответ.

Что стоит держать в голове. Все цифры — оценки одного инженера: 700 узлов и 3–4 тысячи H100 зависят от длины ответов, доли попаданий в кэш, целевой задержки и железа, а автор не раскрывает всех допущений. Реальные системы сталкиваются с неравномерным трафиком, пиками и сбоями, которые в такую прикидку не вошли. Контекст в 4 тысячи токенов — скромный: у агентных сценариев с длинными диалогами и инструментами кэш будет заметно больше.

Что из этого вынести

Для команд, которые строят собственный инференс, практический вывод такой. Бюджет надо считать от памяти под KV-кэш, а не от числа параметров. Выбор MoE-модели способен сократить парк GPU в разы. Кэширование префиксов и умная маршрутизация дают экономию без покупки нового железа. А разделение prefill и decode — уже не экзотика, а рабочая схема, которую используют открытые проекты.

Для продактов и основателей мораль проще: у цены токена на большом масштабе есть инженерная основа. Её определяют не красивые бенчмарки модели, а то, насколько грамотно система управляет памятью, батчами и кэшем.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: сначала арифметика: всё упирается в память?

Исходная прикидка простая. 10 миллионов токенов в секунду, делённые на 50 токенов в секунду на пользователя, дают около 200 тысяч одновременных потоков. У каждого потока есть KV-кэш — «рабочая память» модели о том, что уже было в диалоге. Для модели 70B с групповым вниманием (GQA) и кэшем в fp8 это примерно 160 КБ на токен. При контексте в 4 тысячи токенов выходит около 640 МБ на один диалог, а на все 200 тысяч — порядка 130 ТБ. Автор делает вывод: большая часть проектной задачи — это память, а не вычисления.

Что известно по теме: как автор собрал бы систему?

Разделение стадий. Prefill (модель читает ваш запрос) упирается в вычисления, а decode (она печатает ответ по одному токену) — в пропускную способность памяти. Если гонять их на одних и тех же GPU, страдают обе стадии. Поэтому автор предлагает два отдельных пула GPU, а готовый кэш пересылать между ними по RDMA — быстрой сети с прямым доступом к памяти. Так делают DistServe и Mooncake. Внутри каждой GPU.

Что известно по теме: эксплуатация и оговорки?

Автоскейлить, по совету автора, нужно по глубине очереди и заполнению KV-кэша, а не по загрузке CPU. Загрузка модели занимает минуты, поэтому нужны прогретые резервные реплики. Работать стоит в нескольких регионах, а свободные «окна» в загрузке заполнять пакетными задачами, которым не нужен быстрый ответ. Что стоит держать в голове. Все цифры — оценки одного инженера: 700 узлов и 3–4 тысячи H100 зависят от длины ответов, доли попаданий в кэш, целевой задержки и железа, а автор не раскрывает всех допущений.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…