Quatro placas V100 de 2017 rodam um modelo de 27 bilhões de parâmetros a 218 tokens/s
A empresa minsquiana ZuBrIQ colocou em produção o modelo Qwen3.8-27B (27 bilhões de parâmetros) em quatro placas de vídeo Tesla V100 de 2017, embora o vLLM oficial não consiga iniciar modelos de 4 bits nessas máquinas. Com o fork 1Cat-vLLM, o modelo comprimido ocupa cerca de 21 GB, lê até 262 mil tokens de contexto (centenas de páginas de texto) e gera cerca de 218 tokens por segundo com 24 requisições simultâneas. As placas antigas servem para produção, desde que a memória seja calculada manualmente.
Processado por IA de Habr AI; editado por Hamidun News
Muitas equipes não têm H100 novas, mas têm no rack placas de vídeo que já foram "descartadas". Engenheiros do serviço bielorrusso ZuBrIQ mostraram que quatro Nvidia Tesla V100 (placas de servidor de 2017 com 16 GB de memória cada) ainda conseguem rodar o modelo denso Qwen3.8-27B.
A designação "27B" significa 27 bilhões de parâmetros. A janela de contexto dele é de 262K, ou seja, cerca de 262 mil tokens: centenas de páginas de texto em uma única requisição. A velocidade de geração é de cerca de 218 tokens por segundo no total, com 24 requisições simultâneas (um token é aproximadamente uma palavra ou parte dela).
O relato da equipe é prático, com comandos de inicialização, números e os erros em que é fácil tropeçar.
Por que V100, afinal
O modelo zubr é o único da ZuBrIQ cujas requisições não saem da Bielorrússia. O prompt, o documento e a resposta permanecem em servidores em Minsk. Para bancos, setor público e empresas com dados pessoais, essa é uma condição sem a qual não há como operar. Trazer placas novas para o país é difícil e caro, então a equipe extrai o máximo das que já tem: quatro V100 SXM2 de 16 GB, totalizando 64 GB.
A dificuldade está na arquitetura Volta (SM70). Ela não tem bfloat16, formato em que a maioria dos modelos atuais é distribuída, nem FP8, e o vLLM oficial se recusa a iniciar modelos de 4 bits em placas com índice inferior a 75. A saída foi o fork 1Cat-vLLM, sob licença Apache-2.0, com kernels de 4 bits para Volta, backend de atenção para V100 e CUDA Graph. Ele roda nativamente via systemd em um contêiner LXC no Proxmox, sem Docker.
O modelo foi usado em INT4 (os pesos são armazenados em 4 bits em vez de 16): o Qwen3.8-27B da cyankiwi ocupa cerca de 21 GB, ou aproximadamente 5,3 GB por placa. Há duas ressalvas. O quantizado está no formato compressed-tensors, e para usá-lo é preciso ativar a variável VLLM_SM70_COMPRESSED_TENSORS_TURBOMIND=1. Além disso, a flag --dtype float16 é obrigatória, porque a Volta não tem bfloat16.
Para onde vai a memória
A primeira armadilha: no fork, o peso do modelo quase não é descontado do orçamento do cache KV (a memória em que o modelo guarda o contexto já lido). Por isso, com a configuração 0,50, o processo ocupava por placa quase 14 GB, e não 8 GB. A equipe definiu o tamanho do cache explicitamente com --kv-cache-memory-bytes.
O cálculo é honesto: o motor informou que a janela de 131 072 tokens precisa de 2,08 GiB, ou seja, cerca de 17 KB por token. Para 262 144 tokens, bastam 4,6 GB, com uma pequena folga. O cálculo deve considerar a placa mais carregada: se uma mesma GPU também hospeda um serviço de embeddings, o cache fica limitado à memória livre dela.
A segunda armadilha: os CUDA graphs são capturados para cada tamanho de lote e ficam fora do orçamento. Com max-num-seqs em 96, eles ocupavam cerca de 5 GB acima do planejado. Depois de reduzir para 24, a vazão quase não caiu e a memória voltou.
A terceira: duas instâncias nas mesmas placas. Ao lado rodava à parte um Qwen3-VL-4B para visão, e, quando os dois processos reiniciavam ao mesmo tempo, o pico de inicialização ultrapassava 16 GB: um worker sofria OOM, e o principal travava no watchdog do NCCL. O systemd mostrava active, mas a porta estava fechada. Em setembro o problema sumiu: o Qwen3.8-27B lê imagens sozinho e, no teste com tabelas, acertou 3 de 4 casos, enquanto o 4B separado acertou 0 de 3. O modelo auxiliar foi desligado, liberando cerca de 8 GB, e a janela subiu de 131 072 para 262 144 tokens.
MoE contra dense e a regra dos nomes
Até setembro, o ambiente de produção rodava o MoE Qwen3.6-35B-A3B: 35 bilhões de parâmetros, dos quais cerca de 3 bilhões são ativados para cada token. Os dois modelos passaram por um mesmo script: 300 requisições, 24 clientes, 512 tokens de entrada e 256 de saída. O denso de 27B (dense, em que todos os parâmetros funcionam sempre) entregou 218,5 tokens por segundo contra 200,2 do MoE, 9% a mais, e cada token saiu 14% mais rápido. Os autores supõem que os kernels de MoE na SM70 simplesmente não estão bem otimizados.
O preço foi pago no primeiro token: a espera mediana foi de 1,31 s contra 0,59 s, e no 1% mais lento das requisições (P99), 14,2 s contra 2,3 s. Ao processar o prompt, o modelo denso usa todos os 27 bilhões de parâmetros, enquanto o MoE usava cerca de 3 bilhões. Uma ressalva da equipe: foi comparada a velocidade, não a qualidade, que só foi verificada com requisições de teste rápidas.
Uma lição à parte diz respeito aos nomes. Quando, na troca dos pesos, o nome antigo qwen3.6-35b foi removido, o bot de suporte, que acessava o vLLM diretamente, recebeu um 404 e passou a encaminhar cada cliente para um operador. Agora o primeiro nome em --served-model-name (zubr) nunca muda, e nomes com versão, como zubr-2, descrevem pesos específicos. A verdade sobre os pesos é mostrada pelo campo root em /v1/models, pois o vLLM devolve na resposta o alias solicitado.
O que levar em conta
- Em placas antigas sem bfloat16 e FP8, a quantização de 4 bits somada ao fork do vLLM é um caminho viável, mas exige float16 e as variáveis de ambiente corretas.
- Defina o cache KV explicitamente e considere a memória reservada para os CUDA graphs.
- Não execute dois processos pesados nas mesmas GPUs ao mesmo tempo.
- Separe o nome público do modelo da versão dos pesos.
As limitações também estão claras: os resultados vêm de uma única configuração, a qualidade dos modelos não foi comparada e o fork não é uma ramificação oficial do vLLM, então a manutenção fica por conta da própria equipe.
- 21 de nov. de 2026Gigantes chinesas de tecnologia dobraram gastos com IA para US$ 139 bilhões, mas os laboratórios recuperam menos de 8%
- 21 de nov. de 2026SGLang com kernels Humming acelerou o primeiro token em 7–23% e a geração em 17–34%
- 21 de nov. de 2026CoreWeave deve US$ 47 bilhões por chips da Nvidia e perde US$ 709 milhões no trimestre
- 21 de nov. de 2026phi3 local foi invadida em 51% das tentativas — desenvolvedor colocou um gateway de proteção na frente dela
Perguntas frequentes sobre a notícia
Por que V100, afinal?
O modelo zubr é o único da ZuBrIQ cujas requisições não saem da Bielorrússia. O prompt, o documento e a resposta permanecem em servidores em Minsk. Para bancos, setor público e empresas com dados pessoais, essa é uma condição sem a qual não há como operar. Trazer placas novas para o país é difícil e caro, então a equipe extrai o máximo das que já tem: quatro V100 SXM2 de 16 GB, totalizando 64 GB. A dificuldade está na arquitetura Volta (SM70).
O que se sabe sobre Para onde vai a memória?
A primeira armadilha: no fork, o peso do modelo quase não é descontado do orçamento do cache KV (a memória em que o modelo guarda o contexto já lido). Por isso, com a configuração 0,50, o processo ocupava por placa quase 14 GB, e não 8 GB. A equipe definiu o tamanho do cache explicitamente com --kv-cache-memory-bytes. O cálculo é honesto: o motor informou que a janela de 131 072 tokens precisa de 2,08 GiB, ou seja, cerca de 17 KB por token. Para 262 144 tokens, bastam 4,6 GB, com uma pequena folga.
O que se sabe sobre MoE contra dense e a regra dos nomes?
Até setembro, o ambiente de produção rodava o MoE Qwen3.6-35B-A3B: 35 bilhões de parâmetros, dos quais cerca de 3 bilhões são ativados para cada token. Os dois modelos passaram por um mesmo script: 300 requisições, 24 clientes, 512 tokens de entrada e 256 de saída. O denso de 27B (dense, em que todos os parâmetros funcionam sempre) entregou 218,5 tokens por segundo contra 200,2 do MoE, 9% a mais, e cada token saiu 14% mais rápido.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.