Cerebras passou a leitura do prompt para GPUs da AMD e obteve 5 vezes mais tokens por megawatt
A resposta de uma rede neural nasce em duas etapas: primeiro o modelo lê o prompt (prefill) e depois escreve a resposta token por token (decode). A Cerebras passou a leitura para as placas AMD Instinct e manteve a escrita nos seus chips CS-3. No endpoint GPT-OSS-120B, a configuração entregou 5 vezes mais tokens por megawatt do que a solução só com CS-3, e a velocidade de geração não caiu. Assim, o provedor consegue atender mais clientes com o mesmo orçamento de energia.
Processado por IA de Hacker News AI; editado por Hamidun News
A resposta de uma rede neural nasce em duas etapas: primeiro o modelo lê o seu prompt (chamado de prefill) e depois escreve a resposta token por token (decode). A Cerebras, fabricante de chips gigantes para IA, distribuiu essas etapas entre hardwares diferentes: a leitura do prompt agora fica com as placas AMD Instinct, enquanto a escrita da resposta permanece nos sistemas Cerebras CS-3. Em produção, essa configuração gerou 5 vezes mais tokens por megawatt de eletricidade do que a configuração apenas com CS-3, e a velocidade de geração não caiu. Para quem paga por respostas rápidas de agentes, o ponto é quanta IA interativa um data center consegue entregar com potência limitada.
Por que vale dividir a requisição em duas
Imagine que você enviou ao Copilot ou ao Codex um trecho grande de código com uma pergunta. Primeiro, o modelo precisa ler todo esse texto de uma vez e construir um estado intermediário, incluindo o KV-cache, ou seja, a memória do que foi lido. É um trabalho computacional pesado, que as GPUs convencionais fazem muito bem.
Depois começa a escrita da resposta. O modelo gera os tokens um a um, e cada novo token depende do anterior. A cada passo, ele lê de novo seus dados da memória, de modo que aqui o que importa é a velocidade da memória, e não a potência bruta de cálculo.
Os chips da Cerebras, do tamanho de uma pastilha de silício inteira, são justamente fortes em memória. Segundo a empresa, eles têm 350 vezes mais memória SRAM rápida no próprio chip e uma largura de banda de memória 5.400 vezes maior do que a de uma GB300 típica. Por isso se encaixam bem no decode. Ler prompts longos nesse chip faz menos sentido, e essa parte faz mais sentido ser entregue a outros aceleradores.
O que mostrou a produção
A Cerebras colocou a configuração em operação na própria nuvem. Os prompts são processados pelas AMD Instinct, e as respostas são escritas pelos CS-3. Quando a leitura vai para as placas de vídeo, os chips da Cerebras ficam totalmente dedicados à geração.
A medição foi feita no endpoint compartilhado GPT-OSS-120B em 14 de novembro, comparando a taxa de transferência por megawatt antes e depois da separação. O resultado foi um aumento de 5 vezes em relação à configuração apenas com CS-3. Segundo a empresa, a velocidade de geração de tokens permaneceu a mesma.
Para o provedor, isso significa mais clientes e mais receita com o mesmo orçamento de energia. Para o usuário, significa as mesmas respostas rápidas, mas com menor risco de esbarrar na falta de capacidade. Os planos são ambiciosos: até o fim de 2027, implantar a arquitetura em centenas de megawatts na própria nuvem e nas de parceiros. Ao mesmo tempo, a empresa menciona o anúncio do CS-4, a expansão da produção e os 700 MW de capacidade de data centers planejados.
Como a solução é oferecida aos parceiros
A Cerebras propõe aos parceiros uma arquitetura de referência: os aceleradores escolhidos para o prefill e os sistemas Cerebras ficam na mesma rede. Há duas formas de adoção.
A primeira é a pilha de software completa, que acelera a entrada do serviço no mercado. Ela inclui:
- um framework que distribui as requisições entre os pools de prefill e decode e acompanha a capacidade e a saúde das réplicas;
- um motor de prefill baseado em vLLM ou SGLang, ambos abertos;
- o motor de decode da Cerebras;
- o KV Portal, que transfere o KV-cache entre as duas partes via RDMA.
A segunda é um SDK apenas de decode, voltado a quem prioriza o controle. O parceiro traz o próprio framework e o próprio motor de prefill e os conecta ao motor de decode da Cerebras e ao KV Portal. O pacote inclui um simulador de réplica de decode e um exemplo de integração com um framework aberto. O acesso antecipado já foi concedido à Amazon Web Services, Fireworks AI, Gimlet Labs e General Compute.
O que vale considerar
Todos os números vêm do material da própria Cerebras, não de um benchmark independente. O ganho de 5 vezes foi medido em um único endpoint, e a referência de comparação é a configuração apenas com CS-3. O texto não traz comparação com soluções só de GPU em custo por token. Também não há dados sobre quanto tempo a transferência do KV-cache entre os dois pools acrescenta. A expressão "sem perda de velocidade" se refere à geração da resposta.
A conclusão prática para desenvolvedores é esta: a separação entre leitura do prompt e escrita da resposta está se tornando prática comum na inferência, e vLLM e SGLang já estão incorporados a esse modelo. Ao escolher um provedor para agentes interativos, compare não só o preço por token, mas também a velocidade de resposta sob carga. Para quem constrói os próprios data centers, o sinal é que o hardware para leitura do prompt e para geração da resposta agora pode ser escolhido separadamente.
- 21 de nov. de 2026Falha da Microsoft: quase 83 mil reclamações sobre o Outlook no Downdetector, Teams e Copilot também fora do ar
- 21 de nov. de 2026No MLPerf Training, pela primeira vez, aparecem Nvidia Rubin e TPU Ironwood: 153 sistemas
- 21 de nov. de 2026Microsoft transforma o Copilot em "sistema operacional do trabalho": Word e Excel viram plugins do agente
- 21 de nov. de 2026Google vai separar o armazenamento de chats do treinamento do Gemini: dá para recusar sem perder o histórico
Perguntas frequentes sobre a notícia
Por que vale dividir a requisição em duas?
Imagine que você enviou ao Copilot ou ao Codex um trecho grande de código com uma pergunta. Primeiro, o modelo precisa ler todo esse texto de uma vez e construir um estado intermediário, incluindo o KV-cache, ou seja, a memória do que foi lido. É um trabalho computacional pesado, que as GPUs convencionais fazem muito bem. Depois começa a escrita da resposta. O modelo gera os tokens um a um, e cada novo token depende do anterior.
O que mostrou a produção?
A Cerebras colocou a configuração em operação na própria nuvem. Os prompts são processados pelas AMD Instinct, e as respostas são escritas pelos CS-3. Quando a leitura vai para as placas de vídeo, os chips da Cerebras ficam totalmente dedicados à geração. A medição foi feita no endpoint compartilhado GPT-OSS-120B em 14 de novembro, comparando a taxa de transferência por megawatt antes e depois da separação. O resultado foi um aumento de 5 vezes em relação à configuração apenas com CS-3.
Como a solução é oferecida aos parceiros?
A Cerebras propõe aos parceiros uma arquitetura de referência: os aceleradores escolhidos para o prefill e os sistemas Cerebras ficam na mesma rede. Há duas formas de adoção. A primeira é a pilha de software completa, que acelera a entrada do serviço no mercado.
Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews
Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.