DeepSeek abre o código do DeepInfer: 155 trilhões de tokens por dia e margem de 80%

A DeepSeek abriu o código do DeepInfer, o motor que roda o V4.1 Flash. Junto com o código, saiu um relatório de engenharia com números de produção: 155 trilhões de tokens por dia em um único cluster, 96% de acertos no cache de entrada, time to first token médio de 400 ms e geração de 230 tokens/s (até 300 para código). Pelas contas do Latent Space, com preços extraordinários de $0,15 por milhão de tokens de entrada e $0,60 por milhão de tokens de saída, isso dá cerca de $22 milhões de receita por dia e algo em torno de $38 por acelerador por hora.

De onde vem a margem de 80%

A aritmética é a seguinte: 155 milhões de milhões de tokens a um preço misto de cerca de $0,14 rendem aproximadamente $1 milhão por hora. O custo total de uma placa, na estimativa do autor da análise, é de $5–8 por hora. Daí a margem de inferência acima de 80% e um prazo de retorno do cluster de cerca de 81 dias. Essa é uma estimativa do Latent Space; a própria DeepSeek planeja recuperar o investimento em 10 meses.

Uma ressalva importante: 155 trilhões de tokens atendidos não equivalem a 155 trilhões de tokens gerados. Com 96% de cache hits, quase toda a entrada vem do armazenamento, e só uma pequena parte é recalculada. Os números são primários, não há auditoria independente, e o resultado é sensível à composição da carga, à contabilização do cache e ao conjunto de custos incluídos.

Como a stack é organizada

O DeepInfer separa vision encoding, prefill e decode, e cada etapa escala de acordo com o seu próprio gargalo. A recomendação é rodar o prefill em máquinas comuns de oito aceleradores e o decode em supernós de 64–128 aceleradores, com wide expert parallelism para MoE.

• O agendador de prefill estima o custo do attention e corta os chunks conforme um orçamento de tempo, e não segundo um tamanho fixo.
• O roteamento de prefill não depende do cache: os prefixos ficam em um armazenamento compartilhado, e a requisição vai para qualquer worker livre.
• O roteamento de decode leva em conta o número de requisições ativas e o tamanho do KV-cache.
• Os experts mais populares são replicados e redistribuídos periodicamente, ao custo de memória HBM.
• O agendador de CPU funciona de forma assíncrona e elimina as pausas entre os passos de decode.
• Na configuração divulgada para Blackwell, segundo a análise, não há tensor parallelism.

O cache fica em um cluster 3FS com cerca de 100 PiB de SSD. O armazenamento dura 3 dias para agentes e 7 para chats. O estado do sliding-window attention permanece na memória do host. O método SWA Bounded Replay recupera o estado de curta duração que falta a partir dos últimos 128 tokens e, segundo a DeepSeek, quase reduz pela metade o custo computacional do prefill. A verificação especulativa adaptativa DSpark adiciona +6% de throughput em produção em relação à verificação fixa de cinco tokens de rascunho.

O componente deepseek-recipe cuida da interface: as APIs Chat Completions, Responses e Messages, a tokenização paralela e a distinção entre tokens de controle reais e strings idênticas presentes no texto do usuário. Isso não é uma proteção completa contra prompt injection.

O que está aberto e o que não está

A equipe chama o lançamento de totalmente aberto, mas, pela descrição técnica, o gerenciamento do KV-cache e o balanceador de carga ainda não foram publicados por completo. Eles dependem da infraestrutura interna. O 3FS, liberado antes, também responde por parte disso. A orquestração em nível de serviço continua sendo tarefa de quem implanta a stack.

As estimativas da comunidade são secundárias: 196B de parâmetros do Engram, 552B de parâmetros de experts, DP64/EP64, pesos majoritariamente de 4 bits e compressão do KV 400 vezes menor que a do GQA. A fonte primária não confirma esses detalhes.

A vLLM respondeu com benchmarks. O DeepInfer foi construído desde o início sobre a vLLM, e a equipe do projeto mostrou um decode-throughput até 6% distante do publicado pela DeepSeek em GB200, em configuração comparável, além de divulgar as receitas e os resultados do AgentX. Isso é paridade em uma única etapa, e não a reprodução do serviço inteiro: o cache de 100 PiB, o roteamento e a disponibilidade não entram nesse resultado.

Em paralelo, a OpenAI anunciou o cache de prompts de 12 horas na API, em vez dos 30 minutos padrão. Os produtos são diferentes, mas o objetivo é o mesmo: agentes que voltam a um contexto longo depois de horas.

Para uma equipe que está construindo um serviço de agentes, há três lições a tirar do lançamento. A primeira: calcular a economia pela taxa de cache hits e pelo tempo de retenção dos prefixos, e não pelo preço por token. A segunda: separar prefill e decode em pools distintos e balancear o prefill pela estimativa de computação. A terceira: testar a vLLM na própria carga de trabalho, porque o decode nela já está próximo dos resultados da DeepSeek, e a maior distância está na camada de cache e orquestração.