Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
InfraestruturaAnálise · No radarCNews ИИ→ original

Nodul roda DeepSeek V4.1 Flash em 2 H200 em vez de 8 e acelera a geração para 36,4 tokens/s

A configuração padrão do vLLM para o DeepSeek V4.1 Flash exige oito GPUs, mas a Nodul rodou o modelo em duas H200. Os "especialistas" (sub-redes do modelo) pouco usados foram movidos para a memória RAM, e os mais frequentes ficaram na memória de vídeo. Com 20 sessões simultâneas, a velocidade subiu de 5,4 para 36,4 tokens por segundo por agente. A solução interessa a equipes cuja política de segurança proíbe enviar código a nuvens externas.

Processado por IA de CNews ИИ; editado por Hamidun News
Nodul roda DeepSeek V4.1 Flash em 2 H200 em vez de 8 e acelera a geração para 36,4 tokens/s
Fonte: CNews ИИ. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalCNews ИИ ↗
Editor-chefe
Aluguel de duas H200400–500 mil rublos por mês; de oito GPUs: cerca de 4 milhões
Dado-chave #2Com 30 sessões, a velocidade mediana cai para 20,1 tokens por segundo
Dado-chave #3A distribuição dos especialistas não pode ser baixada: ela é montada para a carga de cada equipe

A empresa russa Nodul rodou o modelo DeepSeek V4.1 Flash para agentes de programação em duas GPUs Nvidia H200, embora a configuração padrão do vLLM (o programa que executa o modelo nas placas de vídeo) seja dimensionada para oito. No mesmo servidor, a velocidade de geração subiu de 5,4 para 36,4 tokens por segundo por agente, com 20 sessões simultâneas.

Um token equivale, grosso modo, a uma palavra ou a um pedaço de palavra, ou seja, a medida indica a rapidez com que o assistente de IA digita uma resposta ou um trecho de código. Para equipes cuja área de segurança proíbe enviar código-fonte e documentos a nuvens externas, isso abre a possibilidade de manter um servidor próprio por um custo de três a quatro vezes menor.

Por que duas placas não comportavam o modelo

Segundo a Nodul, não havia em materiais em inglês e chinês uma configuração pronta que permitisse atender 20 sessões paralelas em duas H200 com velocidade a partir de 20 tokens por segundo por agente. A conta é simples. Depois de iniciar o driver e o motor de inferência, sobravam cerca de 139 GB de memória de vídeo em cada H200, enquanto só os pesos do modelo exigiam cerca de 147 GB. E ainda é preciso reservar memória para o contexto: cada sessão de agente tem seu próprio conjunto de arquivos lidos e seu histórico.

A saída veio da arquitetura do modelo. O DeepSeek é formado por várias sub-redes, os "especialistas", e acessa cada uma com frequência diferente. É como uma mesa de trabalho e um arquivo: as pastas usadas todo dia ficam à mão, e as demais vão para o armário. A Nodul fez exatamente isso: manteve na memória de vídeo os pesos dos especialistas mais requisitados e transferiu os pouco usados para a memória RAM do servidor. A equipe chamou a abordagem de Lossless Expert Tiering, isto é, distribuição em camadas dos especialistas sem perda de qualidade.

Como a velocidade quase septuplicou

A parte mais útil da história é a sequência de passos.

A primeira distribuição para o vLLM modificado foi montada a partir de estatísticas públicas: na GPU ficaram os especialistas que o modelo mais acionava em diferentes tarefas. Com 20 sessões paralelas, a velocidade chegou a 17,3 tokens por segundo por agente.

Depois, a equipe coletou estatísticas em uma carga próxima das sessões reais de agentes de programação. Descobriu-se que, ao trabalhar com código, o modelo usa com mais frequência outro conjunto de especialistas. Depois de levar os pesos deles para a GPU, só a troca da distribuição rendeu mais 62%: a velocidade chegou a 28,1 tokens por segundo.

Por fim, com 20 sessões, a reserva de memória de vídeo destinada ao contexto estava menos da metade ocupada, e parte do espaço livre foi cedida aos especialistas. Além disso, o motor passou a ajustar a posição dos especialistas conforme a frequência de acesso, sem precisar reiniciar. Juntas, essas mudanças trouxeram cerca de 30% a mais e elevaram a velocidade mediana para 36,4 tokens por segundo por agente. O ponto de partida no mesmo servidor era 5,4.

Custos e limitações

Para validar o resultado, a Nodul reproduziu 1018 requisições de sessões reais. Com 20 sessões paralelas, em nove de cada dez casos a geração começava em até 2,5 segundos. Com 30 sessões, a velocidade mediana foi de 20,1 tokens por segundo por agente, ou seja, o limite de 20 tokens fica quase no teto. Todas as medições nas duas H200 foram feitas em um único servidor.

O diretor-geral e fundador da Nodul estima o aluguel de um servidor com oito GPUs em cerca de 4 milhões de rublos por mês. Para duas H200, a referência é de 400–500 mil rublos por mês, com aluguel por hora e o servidor desligado à noite. Para uma equipe de cerca de 25–27 pessoas, isso dá aproximadamente 15–20 mil rublos por desenvolvedor. Segundo ele, essa opção atende equipes pequenas e médias que estão proibidas de enviar código e documentos a serviços externos.

As ressalvas importam. Os números foram fornecidos pela própria empresa, e a matéria não traz medições independentes. A distribuição não pode ser baixada: em tarefas diferentes, o modelo recorre a especialistas diferentes, e uma distribuição montada para uma carga funciona pior em outra. Se seus agentes lidam não só com código, mas também com documentos ou análises, será preciso coletar as estatísticas novamente.

O que fazer na prática

Para quem monta um ambiente interno com agentes de programação, a conclusão é esta: antes de alugar as oito placas "exigidas", meça como exatamente a sua carga usa o modelo. Em modelos com especialistas, é possível calcular a frequência de acesso e aproveitá-la: o que é raro vai para a RAM, e a memória de vídeo fica livre para o que é necessário naquele momento. A abordagem exige modificar o motor de inferência e fazer medições, mas, para uma equipe que não pode usar uma API externa, uma economia de várias vezes justifica o esforço.

História

Perguntas frequentes sobre a notícia

Por que duas placas não comportavam o modelo?

Segundo a Nodul, não havia em materiais em inglês e chinês uma configuração pronta que permitisse atender 20 sessões paralelas em duas H200 com velocidade a partir de 20 tokens por segundo por agente. A conta é simples. Depois de iniciar o driver e o motor de inferência, sobravam cerca de 139 GB de memória de vídeo em cada H200, enquanto só os pesos do modelo exigiam cerca de 147 GB.

Como a velocidade quase septuplicou?

A parte mais útil da história é a sequência de passos. A primeira distribuição para o vLLM modificado foi montada a partir de estatísticas públicas: na GPU ficaram os especialistas que o modelo mais acionava em diferentes tarefas. Com 20 sessões paralelas, a velocidade chegou a 17,3 tokens por segundo por agente. Depois, a equipe coletou estatísticas em uma carga próxima das sessões reais de agentes de programação.

O que se sabe sobre Custos e limitações?

Para validar o resultado, a Nodul reproduziu 1018 requisições de sessões reais. Com 20 sessões paralelas, em nove de cada dez casos a geração começava em até 2,5 segundos. Com 30 sessões, a velocidade mediana foi de 20,1 tokens por segundo por agente, ou seja, o limite de 20 tokens fica quase no teto. Todas as medições nas duas H200 foram feitas em um único servidor. O diretor-geral e fundador da Nodul estima o aluguel de um servidor com oito GPUs em cerca de 4 milhões de rublos por mês.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…