Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAPI / Produto · Pronto p/ usoHacker News AI→ original

Cerebras passou a leitura do prompt para GPUs da AMD e obteve 5 vezes mais tokens por megawatt

A resposta de uma rede neural nasce em duas etapas: primeiro o modelo lê o prompt (prefill) e depois escreve a resposta token por token (decode). A Cerebras passou a leitura para as placas AMD Instinct e manteve a escrita nos seus chips CS-3. No endpoint GPT-OSS-120B, a configuração entregou 5 vezes mais tokens por megawatt do que a solução só com CS-3, e a velocidade de geração não caiu. Assim, o provedor consegue atender mais clientes com o mesmo orçamento de energia.

Processado por IA de Hacker News AI; editado por Hamidun News
Cerebras passou a leitura do prompt para GPUs da AMD e obteve 5 vezes mais tokens por megawatt
Fonte: Hacker News AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHacker News AI ↗
Editor-chefe
Dado-chave #1Tokens por megawatt mostram quantas respostas um data center entrega por unidade de potência
Dado-chave #2O acesso antecipado já está com AWS, Fireworks AI, Gimlet Labs e General Compute
Dado-chave #3Até o fim de 2027, a arquitetura deve ser implantada em centenas de megawatts

A resposta de uma rede neural nasce em duas etapas: primeiro o modelo lê o seu prompt (chamado de prefill) e depois escreve a resposta token por token (decode). A Cerebras, fabricante de chips gigantes para IA, distribuiu essas etapas entre hardwares diferentes: a leitura do prompt agora fica com as placas AMD Instinct, enquanto a escrita da resposta permanece nos sistemas Cerebras CS-3. Em produção, essa configuração gerou 5 vezes mais tokens por megawatt de eletricidade do que a configuração apenas com CS-3, e a velocidade de geração não caiu. Para quem paga por respostas rápidas de agentes, o ponto é quanta IA interativa um data center consegue entregar com potência limitada.

Por que vale dividir a requisição em duas

Imagine que você enviou ao Copilot ou ao Codex um trecho grande de código com uma pergunta. Primeiro, o modelo precisa ler todo esse texto de uma vez e construir um estado intermediário, incluindo o KV-cache, ou seja, a memória do que foi lido. É um trabalho computacional pesado, que as GPUs convencionais fazem muito bem.

Depois começa a escrita da resposta. O modelo gera os tokens um a um, e cada novo token depende do anterior. A cada passo, ele lê de novo seus dados da memória, de modo que aqui o que importa é a velocidade da memória, e não a potência bruta de cálculo.

Os chips da Cerebras, do tamanho de uma pastilha de silício inteira, são justamente fortes em memória. Segundo a empresa, eles têm 350 vezes mais memória SRAM rápida no próprio chip e uma largura de banda de memória 5.400 vezes maior do que a de uma GB300 típica. Por isso se encaixam bem no decode. Ler prompts longos nesse chip faz menos sentido, e essa parte faz mais sentido ser entregue a outros aceleradores.

O que mostrou a produção

A Cerebras colocou a configuração em operação na própria nuvem. Os prompts são processados pelas AMD Instinct, e as respostas são escritas pelos CS-3. Quando a leitura vai para as placas de vídeo, os chips da Cerebras ficam totalmente dedicados à geração.

A medição foi feita no endpoint compartilhado GPT-OSS-120B em 14 de novembro, comparando a taxa de transferência por megawatt antes e depois da separação. O resultado foi um aumento de 5 vezes em relação à configuração apenas com CS-3. Segundo a empresa, a velocidade de geração de tokens permaneceu a mesma.

Para o provedor, isso significa mais clientes e mais receita com o mesmo orçamento de energia. Para o usuário, significa as mesmas respostas rápidas, mas com menor risco de esbarrar na falta de capacidade. Os planos são ambiciosos: até o fim de 2027, implantar a arquitetura em centenas de megawatts na própria nuvem e nas de parceiros. Ao mesmo tempo, a empresa menciona o anúncio do CS-4, a expansão da produção e os 700 MW de capacidade de data centers planejados.

Como a solução é oferecida aos parceiros

A Cerebras propõe aos parceiros uma arquitetura de referência: os aceleradores escolhidos para o prefill e os sistemas Cerebras ficam na mesma rede. Há duas formas de adoção.

A primeira é a pilha de software completa, que acelera a entrada do serviço no mercado. Ela inclui:

  • um framework que distribui as requisições entre os pools de prefill e decode e acompanha a capacidade e a saúde das réplicas;
  • um motor de prefill baseado em vLLM ou SGLang, ambos abertos;
  • o motor de decode da Cerebras;
  • o KV Portal, que transfere o KV-cache entre as duas partes via RDMA.

A segunda é um SDK apenas de decode, voltado a quem prioriza o controle. O parceiro traz o próprio framework e o próprio motor de prefill e os conecta ao motor de decode da Cerebras e ao KV Portal. O pacote inclui um simulador de réplica de decode e um exemplo de integração com um framework aberto. O acesso antecipado já foi concedido à Amazon Web Services, Fireworks AI, Gimlet Labs e General Compute.

O que vale considerar

Todos os números vêm do material da própria Cerebras, não de um benchmark independente. O ganho de 5 vezes foi medido em um único endpoint, e a referência de comparação é a configuração apenas com CS-3. O texto não traz comparação com soluções só de GPU em custo por token. Também não há dados sobre quanto tempo a transferência do KV-cache entre os dois pools acrescenta. A expressão "sem perda de velocidade" se refere à geração da resposta.

A conclusão prática para desenvolvedores é esta: a separação entre leitura do prompt e escrita da resposta está se tornando prática comum na inferência, e vLLM e SGLang já estão incorporados a esse modelo. Ao escolher um provedor para agentes interativos, compare não só o preço por token, mas também a velocidade de resposta sob carga. Para quem constrói os próprios data centers, o sinal é que o hardware para leitura do prompt e para geração da resposta agora pode ser escolhido separadamente.

História

Perguntas frequentes sobre a notícia

Por que vale dividir a requisição em duas?

Imagine que você enviou ao Copilot ou ao Codex um trecho grande de código com uma pergunta. Primeiro, o modelo precisa ler todo esse texto de uma vez e construir um estado intermediário, incluindo o KV-cache, ou seja, a memória do que foi lido. É um trabalho computacional pesado, que as GPUs convencionais fazem muito bem. Depois começa a escrita da resposta. O modelo gera os tokens um a um, e cada novo token depende do anterior.

O que mostrou a produção?

A Cerebras colocou a configuração em operação na própria nuvem. Os prompts são processados pelas AMD Instinct, e as respostas são escritas pelos CS-3. Quando a leitura vai para as placas de vídeo, os chips da Cerebras ficam totalmente dedicados à geração. A medição foi feita no endpoint compartilhado GPT-OSS-120B em 14 de novembro, comparando a taxa de transferência por megawatt antes e depois da separação. O resultado foi um aumento de 5 vezes em relação à configuração apenas com CS-3.

Como a solução é oferecida aos parceiros?

A Cerebras propõe aos parceiros uma arquitetura de referência: os aceleradores escolhidos para o prefill e os sistemas Cerebras ficam na mesma rede. Há duas formas de adoção. A primeira é a pilha de software completa, que acelera a entrada do serviço no mercado.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…