Cerebras разложила модель на 3 трлн параметров по 59 чипам: 1000–2000+ токенов в секунду
Модель на 3 трлн параметров весит около 1,5 ТБ даже в 4-битном сжатии, а на одном чипе-пластине Cerebras WSE-3T всего 44 ГБ быстрой памяти. Поэтому открытую Kimi K3 нарезали на 93 слоя по ~16 ГБ и разложили по 59 пластинам, как станки на конвейере: веса стоят на месте, между чипами едут только промежуточные результаты. Cerebras заявляет для таких моделей 1000–2000+ токенов в секунду. При выборе провайдера сравнивайте токены в секунду на мегаватт.
AI-обработка оригинала Hacker News AI; редакция Hamidun News
Модель на 3 трлн параметров не помещается в память одного чипа: даже в 4-битном сжатии её веса занимают около 1,5 ТБ, а на одной пластине Cerebras WSE-3T встроено 44 ГБ памяти. Cerebras показала на примере открытой Kimi K3, как такую модель режут на 93 слоя и раскладывают по 59 пластинам (35 + 24), чтобы получать 1000–2000+ токенов в секунду. Для разработчика это ответ на вопрос, почему цена и скорость обслуживания зависят от устройства модели, а не только от числа параметров.
Почему одна пластина не справляется
Пластина WSE-3T — это чип размером с целую кремниевую заготовку. Её память SRAM очень быстрая, но небольшая: 44 ГБ. Веса моделей уровня фронтира занимают терабайты. В примере Cerebras берёт 4-битное квантование, как в версии на Hugging Face: 3 трлн параметров по 4 бита дают около 1,5 ТБ только на веса.
Kimi K3 состоит из 93 слоёв: 69 с линейным вниманием и 24 плотных, то есть с полным вниманием. Если разделить 1,5 ТБ на 93 слоя, на каждый выходит около 16 ГБ. Удобное число: целый слой помещается в 44 ГБ пластины, и его не приходится дробить между чипами.
По данным самой Cerebras, Kimi K3 набирает 88,3% на Terminal-Bench 2.1 (у GPT-5.6 Sol — 88,8%) и 91,2% на BrowseComp (у GPT-5.6 Sol — 90,4%). Это цифры из поста вендора, независимой проверки в материале нет.
Как слои раскладываются по чипам
Место на пластине зависит от типа слоя. Плотный слой хранит ключи и значения для каждого токена каждого активного запроса. Это называется KV-кэш, по сути блокнот с заметками по всему разговору, и он растёт вместе с длиной контекста. Поэтому на пластину ставят один плотный слой, а остальную память отдают под кэш.
Линейный слой обходится небольшим состоянием фиксированного размера на запрос, которое не растёт с контекстом. На одну пластину помещаются два таких слоя (2 × 16 ГБ = 32 ГБ).
Получается 35 пластин для 69 линейных слоёв и 24 для плотных, итого 59. На плотных пластинах под кэш остаётся 28 ГБ: 44 ГБ минус 16 ГБ на слой.
Дальше работает конвейер. Компилятор Cerebras распределяет слои по областям пластин, а рантайм прокладывает путь для токенов. Веса остаются на месте, между пластинами передаются только активации, то есть промежуточные результаты расчёта. Идут они по RDMA поверх Ethernet, примерно 2 микросекунды на переход. Если сравнить с заводом, станки стоят на месте, а по цеху едут заготовки.
Как конвейер обслуживает много запросов
Очевидное возражение: пока токен проходит все пластины, остальные простаивают, и система работает с батчем в один запрос. Cerebras отвечает, что это не так. Конвейер заполняют разными запросами: пока третья стадия обрабатывает токен запроса A, вторая занята запросом B, а первая — запросом C. Каждая стадия может брать не один запрос, а небольшую группу — микробатч. Число запросов в полёте примерно равно числу стадий, умноженному на размер микробатча.
Здесь есть компромисс. Маленькие микробатчи ускоряют каждый отдельный запрос, большие повышают общую пропускную способность. В продакшене, по словам компании, стадии намного мельче целого слоя, и их больше.
Потолок параллельных запросов задаёт память под KV-кэш: каждый запрос в полёте держит свой кэш на каждой пластине с плотным слоем. Чтобы оценить максимум, свободные 28 ГБ делят на размер кэша одного запроса; в примере взят средний запрос на 256 тысяч токенов. В отличие от батча на GPU, запросы здесь не ждут друг друга, а непрерывно текут по конвейеру.
Что из этого следует практику
Во-первых, архитектура модели влияет на стоимость обслуживания. Линейное внимание почти не требует памяти под кэш, поэтому такие слои упаковываются вдвое плотнее. Если вы выбираете открытую модель для длинного контекста, доля плотных слоёв важна не меньше, чем число параметров.
Во-вторых, Cerebras предлагает сравнивать системы инференса не по размеру батча, а по общему числу токенов в секунду на мегаватт при одинаковой скорости генерации одного ответа. Эту метрику стоит запрашивать у любого провайдера, включая GPU-облака.
В-третьих, подход масштабируется: считаете память под веса и состояние запросов, раскладываете модель по пластинам, соединяете их в конвейер. Каждая новая пластина добавляет вычисления и память.
Ограничения тоже есть. Это иллюстративный расчёт самого вендора, а не независимый бенчмарк. Заявленные 1000–2000+ токенов в секунду относятся к моделям на несколько триллионов параметров вообще, а не к отдельному замеру Kimi K3. Цен в материале нет, только ссылки на бесплатный API и отдел продаж. Чтобы проверить заявления, возьмите бесплатный API и прогоните свои длинные запросы.
- 21 нояб. 2026 г.Восемь open-source инструментов для ИИ-агентов: Browser Use лидирует со 121 тысячей звёзд
- 21 нояб. 2026 г.Thinking Machines выпустила открытую Inkling 2 Mini на 26,4 млрд параметров для Mac с 32 ГБ
- 21 нояб. 2026 г.Видеомодель AURA 2.0 сама вступает в разговор: ответ звучит через 344 мс
- 21 нояб. 2026 г.Anthropic провела рекордное IPO на $81,3 млрд, но контроль остался у основателей
Вопросы и ответы по материалу
Что известно по теме: почему одна пластина не справляется?
Пластина WSE-3T — это чип размером с целую кремниевую заготовку. Её память SRAM очень быстрая, но небольшая: 44 ГБ. Веса моделей уровня фронтира занимают терабайты. В примере Cerebras берёт 4-битное квантование, как в версии на Hugging Face: 3 трлн параметров по 4 бита дают около 1,5 ТБ только на веса. Kimi K3 состоит из 93 слоёв: 69 с линейным вниманием и 24 плотных, то есть с полным вниманием. Если разделить 1,5 ТБ на 93 слоя, на каждый выходит около 16 ГБ.
Что известно по теме: как слои раскладываются по чипам?
Место на пластине зависит от типа слоя. Плотный слой хранит ключи и значения для каждого токена каждого активного запроса. Это называется KV-кэш, по сути блокнот с заметками по всему разговору, и он растёт вместе с длиной контекста. Поэтому на пластину ставят один плотный слой, а остальную память отдают под кэш. Линейный слой обходится небольшим состоянием фиксированного размера на запрос, которое не растёт с контекстом. На одну пластину помещаются два таких слоя (2 × 16 ГБ = 32 ГБ).
Что известно по теме: как конвейер обслуживает много запросов?
Очевидное возражение: пока токен проходит все пластины, остальные простаивают, и система работает с батчем в один запрос. Cerebras отвечает, что это не так. Конвейер заполняют разными запросами: пока третья стадия обрабатывает токен запроса A, вторая занята запросом B, а первая — запросом C. Каждая стадия может брать не один запрос, а небольшую группу — микробатч. Число запросов в полёте примерно равно числу стадий, умноженному на размер микробатча. Здесь есть компромисс.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.