Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarX: @raiharsh88→ original

Engenheiro estima entrega de 10 mi tokens/s: 130 TB de cache e 700 nós com MoE

Para que um chatbot escreva respostas a 200 mil pessoas ao mesmo tempo, a 50 tokens por segundo, é preciso gerar 10 milhões de tokens por segundo. O gargalo é a memória: o cache das conversas de um modelo 70B com 4 mil tokens de contexto ocupa cerca de 130 TB. Na estimativa do engenheiro @raiharsh88, um modelo MoE da classe do DeepSeek-V3 daria conta disso com 700 nós de decode, enquanto um 70B denso precisaria de 3–4 mil H100. Faça o orçamento a partir da memória, não do número de parâmetros.

Processado por IA de X: @raiharsh88; editado por Hamidun News
Engenheiro estima entrega de 10 mi tokens/s: 130 TB de cache e 700 nós com MoE
Fonte: X: @raiharsh88. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @raiharsh88 ↗
Editor-chefe
Dado-chave #1Prefill e decode rodam em pools de GPU separados, e o cache é transferido por RDMA
Dado-chave #2Decodificação especulativa e cabeças MTP rendem perto de 2× em cada GPU
Dado-chave #3Rotear a requisição para a réplica que já tem o prefixo em cache evita boa parte do prefill

Imagine um chatbot baseado em um modelo aberto, usado por 200 mil pessoas ao mesmo tempo, e que escreve a cada uma delas a uma velocidade de cerca de 50 tokens por segundo (um token equivale, aproximadamente, a uma palavra ou parte dela). No total, são 10 milhões de tokens de saída por segundo. O engenheiro @raiharsh88 publicou uma análise de como montaria um sistema assim, e a conclusão principal é inesperada: o mais difícil não é o modelo em si, mas a memória.

Cada uma das 200 mil conversas precisa guardar o que já foi dito, o chamado KV-cache, e juntos esses caches ocupam cerca de 130 terabytes. É uma estimativa de "guardanapo", não um benchmark medido, mas a conta é útil para quem planeja a própria infraestrutura de inferência.

Primeiro a aritmética: tudo se resume à memória

A estimativa inicial é simples. Dividindo 10 milhões de tokens por segundo por 50 tokens por segundo por usuário, chega-se a cerca de 200 mil fluxos simultâneos.

Cada fluxo tem um KV-cache, a "memória de trabalho" do modelo sobre o que já aconteceu na conversa. Para um modelo 70B com atenção agrupada (GQA) e cache em fp8, isso dá cerca de 160 KB por token. Com contexto de 4 mil tokens, são aproximadamente 640 MB por conversa e, para as 200 mil, algo em torno de 130 TB. O autor conclui que a maior parte do problema de projeto é memória, não computação.

Como o autor montaria o sistema

Separação das etapas. O prefill (o modelo lê a sua requisição) é limitado por computação, enquanto o decode (ele escreve a resposta token por token) é limitado pela largura de banda de memória. Se as duas etapas rodam nas mesmas GPUs, ambas sofrem. Por isso, o autor propõe dois pools de GPU separados, com o cache pronto sendo transferido entre eles por RDMA, uma rede rápida com acesso direto à memória. É a abordagem de DistServe e Mooncake.

Dentro de cada GPU. Batching contínuo (novas requisições entram no lote em andamento), KV-cache paginado, pesos em fp8 e, em Blackwell, em fp4. O tamanho do lote deve ser o maior que a latência-alvo permitir. Por cima disso entram a decodificação especulativa ou as cabeças MTP (o modelo adivinha vários tokens à frente e depois verifica o palpite), o que juntas rendem um ganho próximo de 2×.

Escolha da arquitetura. O autor aposta em MoE: nesse tipo de modelo, apenas parte dos parâmetros trabalha a cada token, então cada GPU entrega mais tokens. Pela estimativa dele, um modelo do porte do DeepSeek-V3, com amplo paralelismo de especialistas, exigiria cerca de 700 nós de decode. Um modelo denso de 70B, para o mesmo fluxo, precisaria de 3–4 mil H100.

Roteamento. Na opinião do autor, ele é mais importante do que parece. Prompts de sistema e conversas longas se repetem muito. Suponha que todas as requisições tenham o mesmo prompt de sistema longo: se a nova requisição for enviada a uma réplica que já o tem em cache, a maior parte do prefill é pulada. O cache ocioso pode ser descarregado para a RAM da CPU ou para NVMe, o que é mais barato do que recalculá-lo.

Operação e ressalvas

O autoscaling, segundo o autor, deve se basear na profundidade da fila e na ocupação do KV-cache, não no uso de CPU. Carregar o modelo leva minutos, por isso é preciso manter réplicas reserva já aquecidas. Vale operar em várias regiões e preencher as "janelas" ociosas de carga com tarefas em lote, que não precisam de resposta rápida.

O que convém ter em mente. Todos os números são estimativas de um único engenheiro: os 700 nós e as 3–4 mil H100 dependem do tamanho das respostas, da taxa de acertos no cache, da latência-alvo e do hardware, e o autor não revela todas as premissas. Sistemas reais enfrentam tráfego irregular, picos e falhas, que não entraram nessa estimativa. Um contexto de 4 mil tokens é modesto: em cenários de agentes, com diálogos longos e ferramentas, o cache será bem maior.

O que tirar disso

Para equipes que montam a própria inferência, a conclusão prática é esta. O orçamento deve partir da memória para o KV-cache, não do número de parâmetros. Escolher um modelo MoE pode reduzir a frota de GPUs em várias vezes. Cache de prefixos e roteamento inteligente geram economia sem comprar hardware novo. E separar prefill e decode já não é exotismo, mas um esquema de trabalho usado por projetos abertos.

Para produtos e fundadores, a lição é mais simples: o preço do token em grande escala tem uma base de engenharia. Ele não é definido por benchmarks bonitos do modelo, mas pela competência com que o sistema gerencia memória, lotes e cache.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Primeiro a aritmética: tudo se resume à memória?

A estimativa inicial é simples. Dividindo 10 milhões de tokens por segundo por 50 tokens por segundo por usuário, chega-se a cerca de 200 mil fluxos simultâneos. Cada fluxo tem um KV-cache, a "memória de trabalho" do modelo sobre o que já aconteceu na conversa. Para um modelo 70B com atenção agrupada (GQA) e cache em fp8, isso dá cerca de 160 KB por token. Com contexto de 4 mil tokens, são aproximadamente 640 MB por conversa e, para as 200 mil, algo em torno de 130 TB.

Como o autor montaria o sistema?

Separação das etapas. O prefill (o modelo lê a sua requisição) é limitado por computação, enquanto o decode (ele escreve a resposta token por token) é limitado pela largura de banda de memória. Se as duas etapas rodam nas mesmas GPUs, ambas sofrem. Por isso, o autor propõe dois pools de GPU separados, com o cache pronto sendo transferido entre eles por RDMA, uma rede rápida com acesso direto à memória. É a abordagem de DistServe e Mooncake. Dentro de cada GPU.

O que se sabe sobre Operação e ressalvas?

O autoscaling, segundo o autor, deve se basear na profundidade da fila e na ocupação do KV-cache, não no uso de CPU. Carregar o modelo leva minutos, por isso é preciso manter réplicas reserva já aquecidas. Vale operar em várias regiões e preencher as "janelas" ociosas de carga com tarefas em lote, que não precisam de resposta rápida. O que convém ter em mente.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…