Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураОткрытые веса · В работуHacker News AI→ оригинал

Cerebras разложила модель на 3 трлн параметров по 59 чипам: 1000–2000+ токенов в секунду

Модель на 3 трлн параметров весит около 1,5 ТБ даже в 4-битном сжатии, а на одном чипе-пластине Cerebras WSE-3T всего 44 ГБ быстрой памяти. Поэтому открытую Kimi K3 нарезали на 93 слоя по ~16 ГБ и разложили по 59 пластинам, как станки на конвейере: веса стоят на месте, между чипами едут только промежуточные результаты. Cerebras заявляет для таких моделей 1000–2000+ токенов в секунду. При выборе провайдера сравнивайте токены в секунду на мегаватт.

AI-обработка оригинала Hacker News AI; редакция Hamidun News
Cerebras разложила модель на 3 трлн параметров по 59 чипам: 1000–2000+ токенов в секунду
Источник: Hacker News AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHacker News AI ↗
Главный редактор
Ключевой факт #135 пластин под 69 линейных слоёв (по 2) и 24 под плотные (по 1)
Ключевой факт #2Между пластинами идут лишь промежуточные данные: ~2 мкс на переход
Ключевой факт #3На кэш запросов у плотных пластин остаётся по 28 ГБ (44 минус 16)

Модель на 3 трлн параметров не помещается в память одного чипа: даже в 4-битном сжатии её веса занимают около 1,5 ТБ, а на одной пластине Cerebras WSE-3T встроено 44 ГБ памяти. Cerebras показала на примере открытой Kimi K3, как такую модель режут на 93 слоя и раскладывают по 59 пластинам (35 + 24), чтобы получать 1000–2000+ токенов в секунду. Для разработчика это ответ на вопрос, почему цена и скорость обслуживания зависят от устройства модели, а не только от числа параметров.

Почему одна пластина не справляется

Пластина WSE-3T — это чип размером с целую кремниевую заготовку. Её память SRAM очень быстрая, но небольшая: 44 ГБ. Веса моделей уровня фронтира занимают терабайты. В примере Cerebras берёт 4-битное квантование, как в версии на Hugging Face: 3 трлн параметров по 4 бита дают около 1,5 ТБ только на веса.

Kimi K3 состоит из 93 слоёв: 69 с линейным вниманием и 24 плотных, то есть с полным вниманием. Если разделить 1,5 ТБ на 93 слоя, на каждый выходит около 16 ГБ. Удобное число: целый слой помещается в 44 ГБ пластины, и его не приходится дробить между чипами.

По данным самой Cerebras, Kimi K3 набирает 88,3% на Terminal-Bench 2.1 (у GPT-5.6 Sol — 88,8%) и 91,2% на BrowseComp (у GPT-5.6 Sol — 90,4%). Это цифры из поста вендора, независимой проверки в материале нет.

Как слои раскладываются по чипам

Место на пластине зависит от типа слоя. Плотный слой хранит ключи и значения для каждого токена каждого активного запроса. Это называется KV-кэш, по сути блокнот с заметками по всему разговору, и он растёт вместе с длиной контекста. Поэтому на пластину ставят один плотный слой, а остальную память отдают под кэш.

Линейный слой обходится небольшим состоянием фиксированного размера на запрос, которое не растёт с контекстом. На одну пластину помещаются два таких слоя (2 × 16 ГБ = 32 ГБ).

Получается 35 пластин для 69 линейных слоёв и 24 для плотных, итого 59. На плотных пластинах под кэш остаётся 28 ГБ: 44 ГБ минус 16 ГБ на слой.

Дальше работает конвейер. Компилятор Cerebras распределяет слои по областям пластин, а рантайм прокладывает путь для токенов. Веса остаются на месте, между пластинами передаются только активации, то есть промежуточные результаты расчёта. Идут они по RDMA поверх Ethernet, примерно 2 микросекунды на переход. Если сравнить с заводом, станки стоят на месте, а по цеху едут заготовки.

Как конвейер обслуживает много запросов

Очевидное возражение: пока токен проходит все пластины, остальные простаивают, и система работает с батчем в один запрос. Cerebras отвечает, что это не так. Конвейер заполняют разными запросами: пока третья стадия обрабатывает токен запроса A, вторая занята запросом B, а первая — запросом C. Каждая стадия может брать не один запрос, а небольшую группу — микробатч. Число запросов в полёте примерно равно числу стадий, умноженному на размер микробатча.

Здесь есть компромисс. Маленькие микробатчи ускоряют каждый отдельный запрос, большие повышают общую пропускную способность. В продакшене, по словам компании, стадии намного мельче целого слоя, и их больше.

Потолок параллельных запросов задаёт память под KV-кэш: каждый запрос в полёте держит свой кэш на каждой пластине с плотным слоем. Чтобы оценить максимум, свободные 28 ГБ делят на размер кэша одного запроса; в примере взят средний запрос на 256 тысяч токенов. В отличие от батча на GPU, запросы здесь не ждут друг друга, а непрерывно текут по конвейеру.

Что из этого следует практику

Во-первых, архитектура модели влияет на стоимость обслуживания. Линейное внимание почти не требует памяти под кэш, поэтому такие слои упаковываются вдвое плотнее. Если вы выбираете открытую модель для длинного контекста, доля плотных слоёв важна не меньше, чем число параметров.

Во-вторых, Cerebras предлагает сравнивать системы инференса не по размеру батча, а по общему числу токенов в секунду на мегаватт при одинаковой скорости генерации одного ответа. Эту метрику стоит запрашивать у любого провайдера, включая GPU-облака.

В-третьих, подход масштабируется: считаете память под веса и состояние запросов, раскладываете модель по пластинам, соединяете их в конвейер. Каждая новая пластина добавляет вычисления и память.

Ограничения тоже есть. Это иллюстративный расчёт самого вендора, а не независимый бенчмарк. Заявленные 1000–2000+ токенов в секунду относятся к моделям на несколько триллионов параметров вообще, а не к отдельному замеру Kimi K3. Цен в материале нет, только ссылки на бесплатный API и отдел продаж. Чтобы проверить заявления, возьмите бесплатный API и прогоните свои длинные запросы.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему одна пластина не справляется?

Пластина WSE-3T — это чип размером с целую кремниевую заготовку. Её память SRAM очень быстрая, но небольшая: 44 ГБ. Веса моделей уровня фронтира занимают терабайты. В примере Cerebras берёт 4-битное квантование, как в версии на Hugging Face: 3 трлн параметров по 4 бита дают около 1,5 ТБ только на веса. Kimi K3 состоит из 93 слоёв: 69 с линейным вниманием и 24 плотных, то есть с полным вниманием. Если разделить 1,5 ТБ на 93 слоя, на каждый выходит около 16 ГБ.

Что известно по теме: как слои раскладываются по чипам?

Место на пластине зависит от типа слоя. Плотный слой хранит ключи и значения для каждого токена каждого активного запроса. Это называется KV-кэш, по сути блокнот с заметками по всему разговору, и он растёт вместе с длиной контекста. Поэтому на пластину ставят один плотный слой, а остальную память отдают под кэш. Линейный слой обходится небольшим состоянием фиксированного размера на запрос, которое не растёт с контекстом. На одну пластину помещаются два таких слоя (2 × 16 ГБ = 32 ГБ).

Что известно по теме: как конвейер обслуживает много запросов?

Очевидное возражение: пока токен проходит все пластины, остальные простаивают, и система работает с батчем в один запрос. Cerebras отвечает, что это не так. Конвейер заполняют разными запросами: пока третья стадия обрабатывает токен запроса A, вторая занята запросом B, а первая — запросом C. Каждая стадия может брать не один запрос, а небольшую группу — микробатч. Число запросов в полёте примерно равно числу стадий, умноженному на размер микробатча. Здесь есть компромисс.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…