Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарHacker News AI→ оригинал

Cerebras отдала чтение промпта GPU AMD и получила в 5 раз больше токенов на мегаватт

Ответ нейросети рождается в два этапа: сначала модель читает промпт (prefill), потом пишет ответ по одному токену (decode). Cerebras отдала чтение видеокартам AMD Instinct, а запись оставила своим чипам CS-3. На эндпоинте GPT-OSS-120B это дало в 5 раз больше токенов на мегаватт, чем схема только на CS-3, а скорость генерации не упала. Провайдер обслужит больше клиентов с того же энергобюджета.

AI-обработка оригинала Hacker News AI; редакция Hamidun News
Cerebras отдала чтение промпта GPU AMD и получила в 5 раз больше токенов на мегаватт
Источник: Hacker News AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHacker News AI ↗
Главный редактор
Ключевой факт #1Токены на мегаватт показывают, сколько ответов дата-центр выдаёт на единицу мощности
Ключевой факт #2Ранний доступ уже у AWS, Fireworks AI, Gimlet Labs и General Compute
Ключевой факт #3До конца 2027 года схему хотят развернуть на сотнях мегаватт

Ответ нейросети рождается в два этапа: сначала модель читает ваш промпт (это называется prefill), потом пишет ответ по одному токену (decode). Cerebras, производитель гигантских чипов для ИИ, раздала эти этапы разному железу: чтение промпта теперь делают видеокарты AMD Instinct, а запись ответа остаётся за системами Cerebras CS-3. В продакшене такая схема дала в 5 раз больше токенов на каждый мегаватт электричества, чем конфигурация только на CS-3, и скорость генерации при этом не просела. Для всех, кто платит за быстрые ответы агентов, это разговор о том, сколько интерактивного ИИ дата-центр может выдать из ограниченной мощности.

Почему запрос удобно разрезать надвое

Представьте, что вы отправили в Copilot или Codex большой кусок кода с вопросом. Сначала модели нужно разом прочитать весь этот текст и построить промежуточное состояние, в том числе KV-кэш, то есть память о прочитанном. Это тяжёлая вычислительная работа, с ней отлично справляются обычные GPU.

Потом начинается запись ответа. Модель выдаёт токены по одному, и каждый новый зависит от предыдущего. На каждом шаге она заново читает свои данные из памяти, поэтому здесь главное скорость памяти, а не сырая вычислительная мощь.

Чипы Cerebras размером с целую кремниевую пластину как раз сильны в памяти. По данным компании, у них в 350 раз больше быстрой памяти SRAM прямо на кристалле и в 5 400 раз выше пропускная способность памяти, чем у типичного GB300. Поэтому они хорошо подходят для decode. Читать длинные промпты на таком чипе менее разумно, и эту часть логично передать другим ускорителям.

Что показал продакшен

Cerebras запустила схему в собственном облаке. Промпты обрабатывают AMD Instinct, ответы пишут CS-3. Когда чтение уходит на видеокарты, чипы Cerebras целиком заняты генерацией.

Замер сделали на общем эндпоинте GPT-OSS-120B 14 ноября: сравнили пропускную способность на мегаватт до и после включения разделения. Результат — рост в 5 раз относительно схемы только на CS-3. Скорость генерации токенов, по заявлению компании, осталась прежней.

Для провайдера это больше клиентов и больше выручки с того же энергобюджета. Для пользователя это те же быстрые ответы, но при меньшем риске упереться в нехватку мощностей. Планы большие: к концу 2027 года развернуть схему на сотнях мегаватт в своём облаке и у партнёров. Рядом компания упоминает анонс CS-4, расширение производства и планируемые 700 МВт мощностей дата-центров.

Как решение отдают партнёрам

Cerebras предлагает партнёрам референсную архитектуру: выбранные ими ускорители для prefill и системы Cerebras стоят в одной сети. Подключиться можно двумя путями.

Первый — полный программный стек, он быстрее выводит сервис на рынок. В него входят:

  • фреймворк, который распределяет запросы между пулами prefill и decode и следит за ёмкостью и здоровьем реплик;
  • движок prefill на открытых vLLM или SGLang;
  • движок decode от Cerebras;
  • KV Portal, который передаёт KV-кэш между двумя частями по RDMA.

Второй путь — decode-only SDK для тех, кому важнее контроль. Партнёр приносит собственный фреймворк и собственный движок prefill и подключает их к decode-движку Cerebras и KV Portal. В комплекте есть имитатор реплики decode и пример интеграции с открытым фреймворком. Ранний доступ уже получили Amazon Web Services, Fireworks AI, Gimlet Labs и General Compute.

Что стоит учитывать

Все цифры взяты из материала самой Cerebras, это не независимый бенчмарк. Пятикратный выигрыш измерен на одном эндпоинте, а базой служит схема только на CS-3. Сравнения с чисто GPU-решениями по цене токена в тексте нет. Нет и данных о том, сколько времени добавляет передача KV-кэша между двумя пулами. Фраза «без потери скорости» относится к генерации ответа.

Практический вывод для разработчиков такой. Разделение чтения промпта и записи ответа становится обычной практикой инференса, а vLLM и SGLang уже встроены в эту схему. Выбирая провайдера для интерактивных агентов, сравнивайте не только цену за токен, но и скорость ответа под нагрузкой. Тем, кто строит свои дата-центры, это сигнал: железо для чтения промпта и для генерации ответа теперь можно подбирать отдельно.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему запрос удобно разрезать надвое?

Представьте, что вы отправили в Copilot или Codex большой кусок кода с вопросом. Сначала модели нужно разом прочитать весь этот текст и построить промежуточное состояние, в том числе KV-кэш, то есть память о прочитанном. Это тяжёлая вычислительная работа, с ней отлично справляются обычные GPU. Потом начинается запись ответа. Модель выдаёт токены по одному, и каждый новый зависит от предыдущего.

Что известно по теме: что показал продакшен?

Cerebras запустила схему в собственном облаке. Промпты обрабатывают AMD Instinct, ответы пишут CS-3. Когда чтение уходит на видеокарты, чипы Cerebras целиком заняты генерацией. Замер сделали на общем эндпоинте GPT-OSS-120B 14 ноября: сравнили пропускную способность на мегаватт до и после включения разделения. Результат — рост в 5 раз относительно схемы только на CS-3. Скорость генерации токенов, по заявлению компании, осталась прежней. Для провайдера это больше клиентов и больше выручки с того же энергобюджета.

Что известно по теме: как решение отдают партнёрам?

Cerebras предлагает партнёрам референсную архитектуру: выбранные ими ускорители для prefill и системы Cerebras стоят в одной сети. Подключиться можно двумя путями. Первый — полный программный стек, он быстрее выводит сервис на рынок. В него входят: фреймворк, который распределяет запросы между пулами prefill и decode и следит за ёмкостью и здоровьем реплик; движок prefill на открытых vLLM или SGLang; движок decode от Cerebras; KV Portal, который передаёт KV-кэш между двумя частями по RDMA.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…