Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHacker News AI→ original

Cerebras divide modelo de 3 trilhões de parâmetros em 59 chips: 1000–2000+ tokens por segundo

Um modelo de 3 trilhões de parâmetros pesa cerca de 1,5 TB mesmo com compressão de 4 bits, e um único chip-wafer Cerebras WSE-3T tem apenas 44 GB de memória rápida. Por isso, o modelo aberto Kimi K3 foi fatiado em 93 camadas de ~16 GB e distribuído por 59 wafers, como máquinas em uma linha de montagem: os pesos ficam parados, e só os resultados intermediários viajam entre os chips. A Cerebras afirma que modelos desse tipo chegam a 1000–2000+ tokens por segundo. Ao escolher um provedor, compare tokens por segundo por megawatt.

Processado por IA de Hacker News AI; editado por Hamidun News
Cerebras divide modelo de 3 trilhões de parâmetros em 59 chips: 1000–2000+ tokens por segundo
Fonte: Hacker News AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHacker News AI ↗
Editor-chefe
Dado-chave #135 wafers para 69 camadas lineares (2 por wafer) e 24 para as densas (1 por wafer)
Dado-chave #2Entre os wafers trafegam apenas dados intermediários: ~2 µs por salto
Dado-chave #3Nos wafers densos, sobram 28 GB para o cache de requisições (44 menos 16)

Um modelo de 3 trilhões de parâmetros não cabe na memória de um único chip: mesmo com compressão de 4 bits, os pesos ocupam cerca de 1,5 TB, e um wafer Cerebras WSE-3T traz 44 GB de memória embutida. Usando o modelo aberto Kimi K3 como exemplo, a Cerebras mostrou como dividir um modelo assim em 93 camadas e distribuí-lo por 59 wafers (35 + 24) para obter 1000–2000+ tokens por segundo. Para o desenvolvedor, é a resposta para a pergunta de por que o preço e a velocidade de atendimento dependem da estrutura do modelo, e não só do número de parâmetros.

Por que um único wafer não dá conta

O WSE-3T é um chip do tamanho de um wafer de silício inteiro. Sua memória SRAM é muito rápida, mas pequena: 44 GB. Os pesos de modelos de fronteira ocupam terabytes. No exemplo, a Cerebras usa quantização de 4 bits, como na versão do Hugging Face: 3 trilhões de parâmetros a 4 bits dão cerca de 1,5 TB só de pesos.

O Kimi K3 tem 93 camadas: 69 com atenção linear e 24 densas, ou seja, com atenção completa. Dividindo 1,5 TB por 93 camadas, cada uma fica com cerca de 16 GB. É um número conveniente: uma camada inteira cabe nos 44 GB do wafer, sem precisar ser repartida entre chips.

Segundo a própria Cerebras, o Kimi K3 marca 88,3% no Terminal-Bench 2.1 (o GPT-5.6 Sol faz 88,8%) e 91,2% no BrowseComp (o GPT-5.6 Sol faz 90,4%). São números do post do fornecedor, e o material não traz verificação independente.

Como as camadas são distribuídas pelos chips

O espaço no wafer depende do tipo de camada. A camada densa guarda chaves e valores de cada token de cada requisição ativa. Isso se chama KV-cache, na prática um bloco de anotações sobre toda a conversa, e ele cresce junto com o tamanho do contexto. Por isso, cada wafer recebe uma única camada densa, e o restante da memória fica para o cache.

A camada linear se contenta com um estado pequeno e de tamanho fixo por requisição, que não cresce com o contexto. Em um wafer cabem duas dessas camadas (2 × 16 GB = 32 GB).

O resultado são 35 wafers para as 69 camadas lineares e 24 para as densas, 59 no total. Nos wafers densos, sobram 28 GB para o cache: 44 GB menos 16 GB da camada.

Daí em diante, quem trabalha é o pipeline. O compilador da Cerebras distribui as camadas por regiões dos wafers, e o runtime traça o caminho dos tokens. Os pesos ficam parados, e entre os wafers passam apenas as ativações, isto é, os resultados intermediários do cálculo. Elas trafegam por RDMA sobre Ethernet, com cerca de 2 microssegundos por salto. Numa analogia com uma fábrica, as máquinas ficam paradas e quem percorre o galpão são as peças em produção.

Como o pipeline atende muitas requisições

A objeção óbvia: enquanto um token atravessa todos os wafers, os demais ficam ociosos, e o sistema opera com batch de uma requisição. A Cerebras diz que não é assim. O pipeline é preenchido com requisições diferentes: enquanto o terceiro estágio processa o token da requisição A, o segundo está ocupado com a B e o primeiro, com a C. Cada estágio pode pegar não uma requisição, mas um pequeno grupo, o microbatch. O número de requisições em andamento é aproximadamente o número de estágios multiplicado pelo tamanho do microbatch.

Aqui há um compromisso. Microbatches pequenos aceleram cada requisição individual; os grandes aumentam a vazão total. Em produção, segundo a empresa, os estágios são bem menores que uma camada inteira, e há mais deles.

O teto de requisições paralelas é definido pela memória do KV-cache: cada requisição em andamento mantém seu cache em cada wafer com camada densa. Para estimar o máximo, divide-se os 28 GB livres pelo tamanho do cache de uma requisição; no exemplo, adotou-se uma requisição média de 256 mil tokens. Diferentemente do batch em GPU, aqui as requisições não esperam umas pelas outras, mas fluem continuamente pelo pipeline.

O que isso significa na prática

Primeiro, a arquitetura do modelo afeta o custo de atendimento. A atenção linear quase não exige memória para cache, então essas camadas são empacotadas com o dobro da densidade. Se você está escolhendo um modelo aberto para contexto longo, a proporção de camadas densas importa tanto quanto o número de parâmetros.

Segundo, a Cerebras propõe comparar sistemas de inferência não pelo tamanho do batch, mas pelo total de tokens por segundo por megawatt, com a mesma velocidade de geração de uma resposta individual. Vale pedir essa métrica a qualquer provedor, inclusive nuvens com GPU.

Terceiro, a abordagem escala: você calcula a memória para os pesos e para o estado das requisições, distribui o modelo pelos wafers e os conecta em pipeline. Cada novo wafer adiciona computação e memória.

Também há limitações. Trata-se de um cálculo ilustrativo feito pelo próprio fornecedor, e não de um benchmark independente. Os 1000–2000+ tokens por segundo anunciados se referem a modelos de vários trilhões de parâmetros em geral, e não a uma medição específica do Kimi K3. O material não traz preços, apenas links para uma API gratuita e para o setor de vendas. Para verificar as afirmações, use a API gratuita e rode suas próprias requisições longas.

História

Perguntas frequentes sobre a notícia

Por que um único wafer não dá conta?

O WSE-3T é um chip do tamanho de um wafer de silício inteiro. Sua memória SRAM é muito rápida, mas pequena: 44 GB. Os pesos de modelos de fronteira ocupam terabytes. No exemplo, a Cerebras usa quantização de 4 bits, como na versão do Hugging Face: 3 trilhões de parâmetros a 4 bits dão cerca de 1,5 TB só de pesos. O Kimi K3 tem 93 camadas: 69 com atenção linear e 24 densas, ou seja, com atenção completa. Dividindo 1,5 TB por 93 camadas, cada uma fica com cerca de 16 GB.

Como as camadas são distribuídas pelos chips?

O espaço no wafer depende do tipo de camada. A camada densa guarda chaves e valores de cada token de cada requisição ativa. Isso se chama KV-cache, na prática um bloco de anotações sobre toda a conversa, e ele cresce junto com o tamanho do contexto. Por isso, cada wafer recebe uma única camada densa, e o restante da memória fica para o cache. A camada linear se contenta com um estado pequeno e de tamanho fixo por requisição, que não cresce com o contexto. Em um wafer cabem duas dessas camadas (2 × 16 GB = 32 GB).

Como o pipeline atende muitas requisições?

A objeção óbvia: enquanto um token atravessa todos os wafers, os demais ficam ociosos, e o sistema opera com batch de uma requisição. A Cerebras diz que não é assim. O pipeline é preenchido com requisições diferentes: enquanto o terceiro estágio processa o token da requisição A, o segundo está ocupado com a B e o primeiro, com a C. Cada estágio pode pegar não uma requisição, mas um pequeno grupo, o microbatch.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…