Engenheiro estima entrega de 10 mi tokens/s: 130 TB de cache e 700 nós com MoE
Para que um chatbot escreva respostas a 200 mil pessoas ao mesmo tempo, a 50 tokens por segundo, é preciso gerar 10 milhões de tokens por segundo. O gargalo é a memória: o cache das conversas de um modelo 70B com 4 mil tokens de contexto ocupa cerca de 130 TB. Na estimativa do engenheiro @raiharsh88, um modelo MoE da classe do DeepSeek-V3 daria conta disso com 700 nós de decode, enquanto um 70B denso precisaria de 3–4 mil H100. Faça o orçamento a partir da memória, não do número de parâmetros.
Processado por IA de X: @raiharsh88; editado por Hamidun News
Imagine um chatbot baseado em um modelo aberto, usado por 200 mil pessoas ao mesmo tempo, e que escreve a cada uma delas a uma velocidade de cerca de 50 tokens por segundo (um token equivale, aproximadamente, a uma palavra ou parte dela). No total, são 10 milhões de tokens de saída por segundo. O engenheiro @raiharsh88 publicou uma análise de como montaria um sistema assim, e a conclusão principal é inesperada: o mais difícil não é o modelo em si, mas a memória.
Cada uma das 200 mil conversas precisa guardar o que já foi dito, o chamado KV-cache, e juntos esses caches ocupam cerca de 130 terabytes. É uma estimativa de "guardanapo", não um benchmark medido, mas a conta é útil para quem planeja a própria infraestrutura de inferência.
Primeiro a aritmética: tudo se resume à memória
A estimativa inicial é simples. Dividindo 10 milhões de tokens por segundo por 50 tokens por segundo por usuário, chega-se a cerca de 200 mil fluxos simultâneos.
Cada fluxo tem um KV-cache, a "memória de trabalho" do modelo sobre o que já aconteceu na conversa. Para um modelo 70B com atenção agrupada (GQA) e cache em fp8, isso dá cerca de 160 KB por token. Com contexto de 4 mil tokens, são aproximadamente 640 MB por conversa e, para as 200 mil, algo em torno de 130 TB. O autor conclui que a maior parte do problema de projeto é memória, não computação.
Como o autor montaria o sistema
Separação das etapas. O prefill (o modelo lê a sua requisição) é limitado por computação, enquanto o decode (ele escreve a resposta token por token) é limitado pela largura de banda de memória. Se as duas etapas rodam nas mesmas GPUs, ambas sofrem. Por isso, o autor propõe dois pools de GPU separados, com o cache pronto sendo transferido entre eles por RDMA, uma rede rápida com acesso direto à memória. É a abordagem de DistServe e Mooncake.
Dentro de cada GPU. Batching contínuo (novas requisições entram no lote em andamento), KV-cache paginado, pesos em fp8 e, em Blackwell, em fp4. O tamanho do lote deve ser o maior que a latência-alvo permitir. Por cima disso entram a decodificação especulativa ou as cabeças MTP (o modelo adivinha vários tokens à frente e depois verifica o palpite), o que juntas rendem um ganho próximo de 2×.
Escolha da arquitetura. O autor aposta em MoE: nesse tipo de modelo, apenas parte dos parâmetros trabalha a cada token, então cada GPU entrega mais tokens. Pela estimativa dele, um modelo do porte do DeepSeek-V3, com amplo paralelismo de especialistas, exigiria cerca de 700 nós de decode. Um modelo denso de 70B, para o mesmo fluxo, precisaria de 3–4 mil H100.
Roteamento. Na opinião do autor, ele é mais importante do que parece. Prompts de sistema e conversas longas se repetem muito. Suponha que todas as requisições tenham o mesmo prompt de sistema longo: se a nova requisição for enviada a uma réplica que já o tem em cache, a maior parte do prefill é pulada. O cache ocioso pode ser descarregado para a RAM da CPU ou para NVMe, o que é mais barato do que recalculá-lo.
Operação e ressalvas
O autoscaling, segundo o autor, deve se basear na profundidade da fila e na ocupação do KV-cache, não no uso de CPU. Carregar o modelo leva minutos, por isso é preciso manter réplicas reserva já aquecidas. Vale operar em várias regiões e preencher as "janelas" ociosas de carga com tarefas em lote, que não precisam de resposta rápida.
O que convém ter em mente. Todos os números são estimativas de um único engenheiro: os 700 nós e as 3–4 mil H100 dependem do tamanho das respostas, da taxa de acertos no cache, da latência-alvo e do hardware, e o autor não revela todas as premissas. Sistemas reais enfrentam tráfego irregular, picos e falhas, que não entraram nessa estimativa. Um contexto de 4 mil tokens é modesto: em cenários de agentes, com diálogos longos e ferramentas, o cache será bem maior.
O que tirar disso
Para equipes que montam a própria inferência, a conclusão prática é esta. O orçamento deve partir da memória para o KV-cache, não do número de parâmetros. Escolher um modelo MoE pode reduzir a frota de GPUs em várias vezes. Cache de prefixos e roteamento inteligente geram economia sem comprar hardware novo. E separar prefill e decode já não é exotismo, mas um esquema de trabalho usado por projetos abertos.
Para produtos e fundadores, a lição é mais simples: o preço do token em grande escala tem uma base de engenharia. Ele não é definido por benchmarks bonitos do modelo, mas pela competência com que o sistema gerencia memória, lotes e cache.
- 20 de nov. de 2026SingProbe, da Ant Group: guardião de 8,1 milhões de parâmetros desacelera LLM em menos de 0,5%
- 20 de nov. de 2026GLM 5.3 local acelerou IA no ESP32-S3 em 100%, e o Qwen 3.8 27B, em 30%
- 19 de nov. de 2026MLPerf Training: clusters de 10 240 GPUs e treinamento 49% mais rápido em seis meses
- 19 de nov. de 2026CoreWeave fica até 65% mais barata que os hiperescaladores em um cluster Blackwell de 3 anos
Perguntas frequentes sobre a notícia
O que se sabe sobre Primeiro a aritmética: tudo se resume à memória?
A estimativa inicial é simples. Dividindo 10 milhões de tokens por segundo por 50 tokens por segundo por usuário, chega-se a cerca de 200 mil fluxos simultâneos. Cada fluxo tem um KV-cache, a "memória de trabalho" do modelo sobre o que já aconteceu na conversa. Para um modelo 70B com atenção agrupada (GQA) e cache em fp8, isso dá cerca de 160 KB por token. Com contexto de 4 mil tokens, são aproximadamente 640 MB por conversa e, para as 200 mil, algo em torno de 130 TB.
Como o autor montaria o sistema?
Separação das etapas. O prefill (o modelo lê a sua requisição) é limitado por computação, enquanto o decode (ele escreve a resposta token por token) é limitado pela largura de banda de memória. Se as duas etapas rodam nas mesmas GPUs, ambas sofrem. Por isso, o autor propõe dois pools de GPU separados, com o cache pronto sendo transferido entre eles por RDMA, uma rede rápida com acesso direto à memória. É a abordagem de DistServe e Mooncake. Dentro de cada GPU.
O que se sabe sobre Operação e ressalvas?
O autoscaling, segundo o autor, deve se basear na profundidade da fila e na ocupação do KV-cache, não no uso de CPU. Carregar o modelo leva minutos, por isso é preciso manter réplicas reserva já aquecidas. Vale operar em várias regiões e preencher as "janelas" ociosas de carga com tarefas em lote, que não precisam de resposta rápida. O que convém ter em mente.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.