Nodul roda DeepSeek V4.1 Flash em 2 H200 em vez de 8 e acelera a geração para 36,4 tokens/s
A configuração padrão do vLLM para o DeepSeek V4.1 Flash exige oito GPUs, mas a Nodul rodou o modelo em duas H200. Os "especialistas" (sub-redes do modelo) pouco usados foram movidos para a memória RAM, e os mais frequentes ficaram na memória de vídeo. Com 20 sessões simultâneas, a velocidade subiu de 5,4 para 36,4 tokens por segundo por agente. A solução interessa a equipes cuja política de segurança proíbe enviar código a nuvens externas.
Processado por IA de CNews ИИ; editado por Hamidun News
A empresa russa Nodul rodou o modelo DeepSeek V4.1 Flash para agentes de programação em duas GPUs Nvidia H200, embora a configuração padrão do vLLM (o programa que executa o modelo nas placas de vídeo) seja dimensionada para oito. No mesmo servidor, a velocidade de geração subiu de 5,4 para 36,4 tokens por segundo por agente, com 20 sessões simultâneas.
Um token equivale, grosso modo, a uma palavra ou a um pedaço de palavra, ou seja, a medida indica a rapidez com que o assistente de IA digita uma resposta ou um trecho de código. Para equipes cuja área de segurança proíbe enviar código-fonte e documentos a nuvens externas, isso abre a possibilidade de manter um servidor próprio por um custo de três a quatro vezes menor.
Por que duas placas não comportavam o modelo
Segundo a Nodul, não havia em materiais em inglês e chinês uma configuração pronta que permitisse atender 20 sessões paralelas em duas H200 com velocidade a partir de 20 tokens por segundo por agente. A conta é simples. Depois de iniciar o driver e o motor de inferência, sobravam cerca de 139 GB de memória de vídeo em cada H200, enquanto só os pesos do modelo exigiam cerca de 147 GB. E ainda é preciso reservar memória para o contexto: cada sessão de agente tem seu próprio conjunto de arquivos lidos e seu histórico.
A saída veio da arquitetura do modelo. O DeepSeek é formado por várias sub-redes, os "especialistas", e acessa cada uma com frequência diferente. É como uma mesa de trabalho e um arquivo: as pastas usadas todo dia ficam à mão, e as demais vão para o armário. A Nodul fez exatamente isso: manteve na memória de vídeo os pesos dos especialistas mais requisitados e transferiu os pouco usados para a memória RAM do servidor. A equipe chamou a abordagem de Lossless Expert Tiering, isto é, distribuição em camadas dos especialistas sem perda de qualidade.
Como a velocidade quase septuplicou
A parte mais útil da história é a sequência de passos.
A primeira distribuição para o vLLM modificado foi montada a partir de estatísticas públicas: na GPU ficaram os especialistas que o modelo mais acionava em diferentes tarefas. Com 20 sessões paralelas, a velocidade chegou a 17,3 tokens por segundo por agente.
Depois, a equipe coletou estatísticas em uma carga próxima das sessões reais de agentes de programação. Descobriu-se que, ao trabalhar com código, o modelo usa com mais frequência outro conjunto de especialistas. Depois de levar os pesos deles para a GPU, só a troca da distribuição rendeu mais 62%: a velocidade chegou a 28,1 tokens por segundo.
Por fim, com 20 sessões, a reserva de memória de vídeo destinada ao contexto estava menos da metade ocupada, e parte do espaço livre foi cedida aos especialistas. Além disso, o motor passou a ajustar a posição dos especialistas conforme a frequência de acesso, sem precisar reiniciar. Juntas, essas mudanças trouxeram cerca de 30% a mais e elevaram a velocidade mediana para 36,4 tokens por segundo por agente. O ponto de partida no mesmo servidor era 5,4.
Custos e limitações
Para validar o resultado, a Nodul reproduziu 1018 requisições de sessões reais. Com 20 sessões paralelas, em nove de cada dez casos a geração começava em até 2,5 segundos. Com 30 sessões, a velocidade mediana foi de 20,1 tokens por segundo por agente, ou seja, o limite de 20 tokens fica quase no teto. Todas as medições nas duas H200 foram feitas em um único servidor.
O diretor-geral e fundador da Nodul estima o aluguel de um servidor com oito GPUs em cerca de 4 milhões de rublos por mês. Para duas H200, a referência é de 400–500 mil rublos por mês, com aluguel por hora e o servidor desligado à noite. Para uma equipe de cerca de 25–27 pessoas, isso dá aproximadamente 15–20 mil rublos por desenvolvedor. Segundo ele, essa opção atende equipes pequenas e médias que estão proibidas de enviar código e documentos a serviços externos.
As ressalvas importam. Os números foram fornecidos pela própria empresa, e a matéria não traz medições independentes. A distribuição não pode ser baixada: em tarefas diferentes, o modelo recorre a especialistas diferentes, e uma distribuição montada para uma carga funciona pior em outra. Se seus agentes lidam não só com código, mas também com documentos ou análises, será preciso coletar as estatísticas novamente.
O que fazer na prática
Para quem monta um ambiente interno com agentes de programação, a conclusão é esta: antes de alugar as oito placas "exigidas", meça como exatamente a sua carga usa o modelo. Em modelos com especialistas, é possível calcular a frequência de acesso e aproveitá-la: o que é raro vai para a RAM, e a memória de vídeo fica livre para o que é necessário naquele momento. A abordagem exige modificar o motor de inferência e fazer medições, mas, para uma equipe que não pode usar uma API externa, uma economia de várias vezes justifica o esforço.
- 19 de nov. de 2026IAs incluíram escola na lista de alvos militares em 70% dos testes da Vals AI
- 19 de nov. de 2026A palavra “videogame” elevou a disposição do GPT-6 Astra de escolher alvos de 6% para 92%
- 18 de nov. de 2026Sciforium acelera o DeepSeek-V4.1-Flash na AMD até 1 129 tokens por segundo
- 18 de nov. de 2026Uma vírgula chinesa fez o DeepSeek responder em chinês em 94% dos casos
Perguntas frequentes sobre a notícia
Por que duas placas não comportavam o modelo?
Segundo a Nodul, não havia em materiais em inglês e chinês uma configuração pronta que permitisse atender 20 sessões paralelas em duas H200 com velocidade a partir de 20 tokens por segundo por agente. A conta é simples. Depois de iniciar o driver e o motor de inferência, sobravam cerca de 139 GB de memória de vídeo em cada H200, enquanto só os pesos do modelo exigiam cerca de 147 GB.
Como a velocidade quase septuplicou?
A parte mais útil da história é a sequência de passos. A primeira distribuição para o vLLM modificado foi montada a partir de estatísticas públicas: na GPU ficaram os especialistas que o modelo mais acionava em diferentes tarefas. Com 20 sessões paralelas, a velocidade chegou a 17,3 tokens por segundo por agente. Depois, a equipe coletou estatísticas em uma carga próxima das sessões reais de agentes de programação.
O que se sabe sobre Custos e limitações?
Para validar o resultado, a Nodul reproduziu 1018 requisições de sessões reais. Com 20 sessões paralelas, em nove de cada dez casos a geração começava em até 2,5 segundos. Com 30 sessões, a velocidade mediana foi de 20,1 tokens por segundo por agente, ou seja, o limite de 20 tokens fica quase no teto. Todas as medições nas duas H200 foram feitas em um único servidor. O diretor-geral e fundador da Nodul estima o aluguel de um servidor com oito GPUs em cerca de 4 milhões de rublos por mês.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.