Cerebras отдала чтение промпта GPU AMD и получила в 5 раз больше токенов на мегаватт
Ответ нейросети рождается в два этапа: сначала модель читает промпт (prefill), потом пишет ответ по одному токену (decode). Cerebras отдала чтение видеокартам AMD Instinct, а запись оставила своим чипам CS-3. На эндпоинте GPT-OSS-120B это дало в 5 раз больше токенов на мегаватт, чем схема только на CS-3, а скорость генерации не упала. Провайдер обслужит больше клиентов с того же энергобюджета.
AI-обработка оригинала Hacker News AI; редакция Hamidun News
Ответ нейросети рождается в два этапа: сначала модель читает ваш промпт (это называется prefill), потом пишет ответ по одному токену (decode). Cerebras, производитель гигантских чипов для ИИ, раздала эти этапы разному железу: чтение промпта теперь делают видеокарты AMD Instinct, а запись ответа остаётся за системами Cerebras CS-3. В продакшене такая схема дала в 5 раз больше токенов на каждый мегаватт электричества, чем конфигурация только на CS-3, и скорость генерации при этом не просела. Для всех, кто платит за быстрые ответы агентов, это разговор о том, сколько интерактивного ИИ дата-центр может выдать из ограниченной мощности.
Почему запрос удобно разрезать надвое
Представьте, что вы отправили в Copilot или Codex большой кусок кода с вопросом. Сначала модели нужно разом прочитать весь этот текст и построить промежуточное состояние, в том числе KV-кэш, то есть память о прочитанном. Это тяжёлая вычислительная работа, с ней отлично справляются обычные GPU.
Потом начинается запись ответа. Модель выдаёт токены по одному, и каждый новый зависит от предыдущего. На каждом шаге она заново читает свои данные из памяти, поэтому здесь главное скорость памяти, а не сырая вычислительная мощь.
Чипы Cerebras размером с целую кремниевую пластину как раз сильны в памяти. По данным компании, у них в 350 раз больше быстрой памяти SRAM прямо на кристалле и в 5 400 раз выше пропускная способность памяти, чем у типичного GB300. Поэтому они хорошо подходят для decode. Читать длинные промпты на таком чипе менее разумно, и эту часть логично передать другим ускорителям.
Что показал продакшен
Cerebras запустила схему в собственном облаке. Промпты обрабатывают AMD Instinct, ответы пишут CS-3. Когда чтение уходит на видеокарты, чипы Cerebras целиком заняты генерацией.
Замер сделали на общем эндпоинте GPT-OSS-120B 14 ноября: сравнили пропускную способность на мегаватт до и после включения разделения. Результат — рост в 5 раз относительно схемы только на CS-3. Скорость генерации токенов, по заявлению компании, осталась прежней.
Для провайдера это больше клиентов и больше выручки с того же энергобюджета. Для пользователя это те же быстрые ответы, но при меньшем риске упереться в нехватку мощностей. Планы большие: к концу 2027 года развернуть схему на сотнях мегаватт в своём облаке и у партнёров. Рядом компания упоминает анонс CS-4, расширение производства и планируемые 700 МВт мощностей дата-центров.
Как решение отдают партнёрам
Cerebras предлагает партнёрам референсную архитектуру: выбранные ими ускорители для prefill и системы Cerebras стоят в одной сети. Подключиться можно двумя путями.
Первый — полный программный стек, он быстрее выводит сервис на рынок. В него входят:
- фреймворк, который распределяет запросы между пулами prefill и decode и следит за ёмкостью и здоровьем реплик;
- движок prefill на открытых vLLM или SGLang;
- движок decode от Cerebras;
- KV Portal, который передаёт KV-кэш между двумя частями по RDMA.
Второй путь — decode-only SDK для тех, кому важнее контроль. Партнёр приносит собственный фреймворк и собственный движок prefill и подключает их к decode-движку Cerebras и KV Portal. В комплекте есть имитатор реплики decode и пример интеграции с открытым фреймворком. Ранний доступ уже получили Amazon Web Services, Fireworks AI, Gimlet Labs и General Compute.
Что стоит учитывать
Все цифры взяты из материала самой Cerebras, это не независимый бенчмарк. Пятикратный выигрыш измерен на одном эндпоинте, а базой служит схема только на CS-3. Сравнения с чисто GPU-решениями по цене токена в тексте нет. Нет и данных о том, сколько времени добавляет передача KV-кэша между двумя пулами. Фраза «без потери скорости» относится к генерации ответа.
Практический вывод для разработчиков такой. Разделение чтения промпта и записи ответа становится обычной практикой инференса, а vLLM и SGLang уже встроены в эту схему. Выбирая провайдера для интерактивных агентов, сравнивайте не только цену за токен, но и скорость ответа под нагрузкой. Тем, кто строит свои дата-центры, это сигнал: железо для чтения промпта и для генерации ответа теперь можно подбирать отдельно.
- 21 нояб. 2026 г.Сбой Microsoft: почти 83 000 жалоб на Outlook в Downdetector, лежали Teams и Copilot
- 21 нояб. 2026 г.В тесте MLPerf впервые участвуют Nvidia Rubin и TPU Ironwood: 153 системы
- 21 нояб. 2026 г.Microsoft сделала Copilot «ОС для работы»: Word и Excel стали плагинами агента
- 21 нояб. 2026 г.Google разделит хранение чатов и обучение Gemini: отказ без потери истории
Вопросы и ответы по материалу
Что известно по теме: почему запрос удобно разрезать надвое?
Представьте, что вы отправили в Copilot или Codex большой кусок кода с вопросом. Сначала модели нужно разом прочитать весь этот текст и построить промежуточное состояние, в том числе KV-кэш, то есть память о прочитанном. Это тяжёлая вычислительная работа, с ней отлично справляются обычные GPU. Потом начинается запись ответа. Модель выдаёт токены по одному, и каждый новый зависит от предыдущего.
Что известно по теме: что показал продакшен?
Cerebras запустила схему в собственном облаке. Промпты обрабатывают AMD Instinct, ответы пишут CS-3. Когда чтение уходит на видеокарты, чипы Cerebras целиком заняты генерацией. Замер сделали на общем эндпоинте GPT-OSS-120B 14 ноября: сравнили пропускную способность на мегаватт до и после включения разделения. Результат — рост в 5 раз относительно схемы только на CS-3. Скорость генерации токенов, по заявлению компании, осталась прежней. Для провайдера это больше клиентов и больше выручки с того же энергобюджета.
Что известно по теме: как решение отдают партнёрам?
Cerebras предлагает партнёрам референсную архитектуру: выбранные ими ускорители для prefill и системы Cerebras стоят в одной сети. Подключиться можно двумя путями. Первый — полный программный стек, он быстрее выводит сервис на рынок. В него входят: фреймворк, который распределяет запросы между пулами prefill и decode и следит за ёмкостью и здоровьем реплик; движок prefill на открытых vLLM или SGLang; движок decode от Cerebras; KV Portal, который передаёт KV-кэш между двумя частями по RDMA.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.