Cerebras divide modelo de 3 trilhões de parâmetros em 59 chips: 1000–2000+ tokens por segundo
Um modelo de 3 trilhões de parâmetros pesa cerca de 1,5 TB mesmo com compressão de 4 bits, e um único chip-wafer Cerebras WSE-3T tem apenas 44 GB de memória rápida. Por isso, o modelo aberto Kimi K3 foi fatiado em 93 camadas de ~16 GB e distribuído por 59 wafers, como máquinas em uma linha de montagem: os pesos ficam parados, e só os resultados intermediários viajam entre os chips. A Cerebras afirma que modelos desse tipo chegam a 1000–2000+ tokens por segundo. Ao escolher um provedor, compare tokens por segundo por megawatt.
Processado por IA de Hacker News AI; editado por Hamidun News
Um modelo de 3 trilhões de parâmetros não cabe na memória de um único chip: mesmo com compressão de 4 bits, os pesos ocupam cerca de 1,5 TB, e um wafer Cerebras WSE-3T traz 44 GB de memória embutida. Usando o modelo aberto Kimi K3 como exemplo, a Cerebras mostrou como dividir um modelo assim em 93 camadas e distribuí-lo por 59 wafers (35 + 24) para obter 1000–2000+ tokens por segundo. Para o desenvolvedor, é a resposta para a pergunta de por que o preço e a velocidade de atendimento dependem da estrutura do modelo, e não só do número de parâmetros.
Por que um único wafer não dá conta
O WSE-3T é um chip do tamanho de um wafer de silício inteiro. Sua memória SRAM é muito rápida, mas pequena: 44 GB. Os pesos de modelos de fronteira ocupam terabytes. No exemplo, a Cerebras usa quantização de 4 bits, como na versão do Hugging Face: 3 trilhões de parâmetros a 4 bits dão cerca de 1,5 TB só de pesos.
O Kimi K3 tem 93 camadas: 69 com atenção linear e 24 densas, ou seja, com atenção completa. Dividindo 1,5 TB por 93 camadas, cada uma fica com cerca de 16 GB. É um número conveniente: uma camada inteira cabe nos 44 GB do wafer, sem precisar ser repartida entre chips.
Segundo a própria Cerebras, o Kimi K3 marca 88,3% no Terminal-Bench 2.1 (o GPT-5.6 Sol faz 88,8%) e 91,2% no BrowseComp (o GPT-5.6 Sol faz 90,4%). São números do post do fornecedor, e o material não traz verificação independente.
Como as camadas são distribuídas pelos chips
O espaço no wafer depende do tipo de camada. A camada densa guarda chaves e valores de cada token de cada requisição ativa. Isso se chama KV-cache, na prática um bloco de anotações sobre toda a conversa, e ele cresce junto com o tamanho do contexto. Por isso, cada wafer recebe uma única camada densa, e o restante da memória fica para o cache.
A camada linear se contenta com um estado pequeno e de tamanho fixo por requisição, que não cresce com o contexto. Em um wafer cabem duas dessas camadas (2 × 16 GB = 32 GB).
O resultado são 35 wafers para as 69 camadas lineares e 24 para as densas, 59 no total. Nos wafers densos, sobram 28 GB para o cache: 44 GB menos 16 GB da camada.
Daí em diante, quem trabalha é o pipeline. O compilador da Cerebras distribui as camadas por regiões dos wafers, e o runtime traça o caminho dos tokens. Os pesos ficam parados, e entre os wafers passam apenas as ativações, isto é, os resultados intermediários do cálculo. Elas trafegam por RDMA sobre Ethernet, com cerca de 2 microssegundos por salto. Numa analogia com uma fábrica, as máquinas ficam paradas e quem percorre o galpão são as peças em produção.
Como o pipeline atende muitas requisições
A objeção óbvia: enquanto um token atravessa todos os wafers, os demais ficam ociosos, e o sistema opera com batch de uma requisição. A Cerebras diz que não é assim. O pipeline é preenchido com requisições diferentes: enquanto o terceiro estágio processa o token da requisição A, o segundo está ocupado com a B e o primeiro, com a C. Cada estágio pode pegar não uma requisição, mas um pequeno grupo, o microbatch. O número de requisições em andamento é aproximadamente o número de estágios multiplicado pelo tamanho do microbatch.
Aqui há um compromisso. Microbatches pequenos aceleram cada requisição individual; os grandes aumentam a vazão total. Em produção, segundo a empresa, os estágios são bem menores que uma camada inteira, e há mais deles.
O teto de requisições paralelas é definido pela memória do KV-cache: cada requisição em andamento mantém seu cache em cada wafer com camada densa. Para estimar o máximo, divide-se os 28 GB livres pelo tamanho do cache de uma requisição; no exemplo, adotou-se uma requisição média de 256 mil tokens. Diferentemente do batch em GPU, aqui as requisições não esperam umas pelas outras, mas fluem continuamente pelo pipeline.
O que isso significa na prática
Primeiro, a arquitetura do modelo afeta o custo de atendimento. A atenção linear quase não exige memória para cache, então essas camadas são empacotadas com o dobro da densidade. Se você está escolhendo um modelo aberto para contexto longo, a proporção de camadas densas importa tanto quanto o número de parâmetros.
Segundo, a Cerebras propõe comparar sistemas de inferência não pelo tamanho do batch, mas pelo total de tokens por segundo por megawatt, com a mesma velocidade de geração de uma resposta individual. Vale pedir essa métrica a qualquer provedor, inclusive nuvens com GPU.
Terceiro, a abordagem escala: você calcula a memória para os pesos e para o estado das requisições, distribui o modelo pelos wafers e os conecta em pipeline. Cada novo wafer adiciona computação e memória.
Também há limitações. Trata-se de um cálculo ilustrativo feito pelo próprio fornecedor, e não de um benchmark independente. Os 1000–2000+ tokens por segundo anunciados se referem a modelos de vários trilhões de parâmetros em geral, e não a uma medição específica do Kimi K3. O material não traz preços, apenas links para uma API gratuita e para o setor de vendas. Para verificar as afirmações, use a API gratuita e rode suas próprias requisições longas.
- 21 de nov. de 2026O modelo de vídeo AURA 2.0 inicia a conversa sozinho: a resposta soa em 344 ms
- 21 de nov. de 2026Anthropic realizou IPO recorde de US$ 81,3 bi, mas o controle ficou com os fundadores
- 21 de nov. de 2026ONNX Runtime some do GitHub: Microsoft oculta repositórios após comprometimento de pacote
- 21 de nov. de 2026Microsoft vai permitir que empresas ajustem modelos MAI com seus próprios dados no Azure
Perguntas frequentes sobre a notícia
Por que um único wafer não dá conta?
O WSE-3T é um chip do tamanho de um wafer de silício inteiro. Sua memória SRAM é muito rápida, mas pequena: 44 GB. Os pesos de modelos de fronteira ocupam terabytes. No exemplo, a Cerebras usa quantização de 4 bits, como na versão do Hugging Face: 3 trilhões de parâmetros a 4 bits dão cerca de 1,5 TB só de pesos. O Kimi K3 tem 93 camadas: 69 com atenção linear e 24 densas, ou seja, com atenção completa. Dividindo 1,5 TB por 93 camadas, cada uma fica com cerca de 16 GB.
Como as camadas são distribuídas pelos chips?
O espaço no wafer depende do tipo de camada. A camada densa guarda chaves e valores de cada token de cada requisição ativa. Isso se chama KV-cache, na prática um bloco de anotações sobre toda a conversa, e ele cresce junto com o tamanho do contexto. Por isso, cada wafer recebe uma única camada densa, e o restante da memória fica para o cache. A camada linear se contenta com um estado pequeno e de tamanho fixo por requisição, que não cresce com o contexto. Em um wafer cabem duas dessas camadas (2 × 16 GB = 32 GB).
Como o pipeline atende muitas requisições?
A objeção óbvia: enquanto um token atravessa todos os wafers, os demais ficam ociosos, e o sistema opera com batch de uma requisição. A Cerebras diz que não é assim. O pipeline é preenchido com requisições diferentes: enquanto o terceiro estágio processa o token da requisição A, o segundo está ocupado com a B e o primeiro, com a C. Cada estágio pode pegar não uma requisição, mas um pequeno grupo, o microbatch.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.