Инженер прикинул раздачу 10 млн токенов/с: 130 ТБ кэша и 700 узлов на MoE
Чтобы чат-бот печатал ответы 200 тысячам людей сразу со скоростью 50 токенов в секунду, нужно выдавать 10 млн токенов в секунду. Упирается это в память: кэш диалогов модели 70B при 4 тысячах токенов контекста займёт около 130 ТБ. По прикидке инженера @raiharsh88, MoE-модель класса DeepSeek-V3 потянет это на 700 узлах декода, а плотной 70B нужно 3–4 тысячи H100. Считайте бюджет от памяти, а не от числа параметров.
AI-обработка оригинала X: @raiharsh88; редакция Hamidun News
Представьте чат-бот на открытой модели, которому одновременно пишут 200 тысяч человек, и каждому он печатает ответ со скоростью около 50 токенов в секунду (токен — это примерно слово или его часть). Суммарно получается 10 миллионов выходных токенов в секунду. Инженер @raiharsh88 выложил разбор того, как он строил бы такую систему, и главный вывод неожиданный: сложнее всего не сама модель, а память. Каждому из 200 тысяч диалогов нужно хранить уже сказанное — так называемый KV-кэш, и вместе эти кэши занимают около 130 терабайт. Это оценка «на салфетке», а не измеренный бенчмарк, но арифметика полезна всем, кто планирует собственный инференс.
Сначала арифметика: всё упирается в память
Исходная прикидка простая. 10 миллионов токенов в секунду, делённые на 50 токенов в секунду на пользователя, дают около 200 тысяч одновременных потоков.
У каждого потока есть KV-кэш — «рабочая память» модели о том, что уже было в диалоге. Для модели 70B с групповым вниманием (GQA) и кэшем в fp8 это примерно 160 КБ на токен. При контексте в 4 тысячи токенов выходит около 640 МБ на один диалог, а на все 200 тысяч — порядка 130 ТБ. Автор делает вывод: большая часть проектной задачи — это память, а не вычисления.
Как автор собрал бы систему
Разделение стадий. Prefill (модель читает ваш запрос) упирается в вычисления, а decode (она печатает ответ по одному токену) — в пропускную способность памяти. Если гонять их на одних и тех же GPU, страдают обе стадии. Поэтому автор предлагает два отдельных пула GPU, а готовый кэш пересылать между ними по RDMA — быстрой сети с прямым доступом к памяти. Так делают DistServe и Mooncake.
Внутри каждой GPU. Непрерывный батчинг (новые запросы подсаживаются в пачку на ходу), постраничный KV-кэш, веса в fp8, а на Blackwell — в fp4. Размер пачки нужно делать настолько большим, насколько позволяет целевая задержка. Сверху добавляются спекулятивный декодинг или MTP-головы (модель угадывает несколько токенов вперёд, а потом проверяет догадку), и вместе это даёт близко к двукратному ускорению.
Выбор архитектуры. Автор ставит на MoE: в такой модели на каждый токен работает лишь часть параметров, поэтому с одной GPU снимается больше токенов. По его оценке, для модели размера DeepSeek-V3 с широким параллелизмом по экспертам потребуется около 700 узлов декода. Плотной модели 70B на тот же поток нужно 3–4 тысячи H100.
Маршрутизация. По мнению автора, она важнее, чем кажется. Системные промпты и длинные чаты сильно повторяются. Допустим, у всех запросов один и тот же длинный системный промпт: если отправить новый запрос на реплику, где он уже лежит в кэше, большая часть prefill пропускается. Простаивающий кэш можно выгружать в оперативную память CPU или на NVMe — это дешевле, чем считать его заново.
Эксплуатация и оговорки
Автоскейлить, по совету автора, нужно по глубине очереди и заполнению KV-кэша, а не по загрузке CPU. Загрузка модели занимает минуты, поэтому нужны прогретые резервные реплики. Работать стоит в нескольких регионах, а свободные «окна» в загрузке заполнять пакетными задачами, которым не нужен быстрый ответ.
Что стоит держать в голове. Все цифры — оценки одного инженера: 700 узлов и 3–4 тысячи H100 зависят от длины ответов, доли попаданий в кэш, целевой задержки и железа, а автор не раскрывает всех допущений. Реальные системы сталкиваются с неравномерным трафиком, пиками и сбоями, которые в такую прикидку не вошли. Контекст в 4 тысячи токенов — скромный: у агентных сценариев с длинными диалогами и инструментами кэш будет заметно больше.
Что из этого вынести
Для команд, которые строят собственный инференс, практический вывод такой. Бюджет надо считать от памяти под KV-кэш, а не от числа параметров. Выбор MoE-модели способен сократить парк GPU в разы. Кэширование префиксов и умная маршрутизация дают экономию без покупки нового железа. А разделение prefill и decode — уже не экзотика, а рабочая схема, которую используют открытые проекты.
Для продактов и основателей мораль проще: у цены токена на большом масштабе есть инженерная основа. Её определяют не красивые бенчмарки модели, а то, насколько грамотно система управляет памятью, батчами и кэшем.
- 20 нояб. 2026 г.SingProbe от Ant Group: охранник на 8,1 млн параметров замедляет LLM менее чем на 0,5%
- 20 нояб. 2026 г.Локальный GLM 5.3 ускорил ИИ на ESP32-S3 на 100%, Qwen 3.8 27B — на 30%
- 19 нояб. 2026 г.MLPerf Training: кластеры на 10 240 GPU и ускорение обучения на 49% за полгода
- 19 нояб. 2026 г.CoreWeave оказалась до 65% дешевле гиперскейлеров на кластере Blackwell за 3 года
Вопросы и ответы по материалу
Что известно по теме: сначала арифметика: всё упирается в память?
Исходная прикидка простая. 10 миллионов токенов в секунду, делённые на 50 токенов в секунду на пользователя, дают около 200 тысяч одновременных потоков. У каждого потока есть KV-кэш — «рабочая память» модели о том, что уже было в диалоге. Для модели 70B с групповым вниманием (GQA) и кэшем в fp8 это примерно 160 КБ на токен. При контексте в 4 тысячи токенов выходит около 640 МБ на один диалог, а на все 200 тысяч — порядка 130 ТБ. Автор делает вывод: большая часть проектной задачи — это память, а не вычисления.
Что известно по теме: как автор собрал бы систему?
Разделение стадий. Prefill (модель читает ваш запрос) упирается в вычисления, а decode (она печатает ответ по одному токену) — в пропускную способность памяти. Если гонять их на одних и тех же GPU, страдают обе стадии. Поэтому автор предлагает два отдельных пула GPU, а готовый кэш пересылать между ними по RDMA — быстрой сети с прямым доступом к памяти. Так делают DistServe и Mooncake. Внутри каждой GPU.
Что известно по теме: эксплуатация и оговорки?
Автоскейлить, по совету автора, нужно по глубине очереди и заполнению KV-кэша, а не по загрузке CPU. Загрузка модели занимает минуты, поэтому нужны прогретые резервные реплики. Работать стоит в нескольких регионах, а свободные «окна» в загрузке заполнять пакетными задачами, которым не нужен быстрый ответ. Что стоит держать в голове. Все цифры — оценки одного инженера: 700 узлов и 3–4 тысячи H100 зависят от длины ответов, доли попаданий в кэш, целевой задержки и железа, а автор не раскрывает всех допущений.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.