vLLM já funciona na Vera Rubin NVL72: 7,8 vezes mais throughput por GPU

O vLLM agora oferece suporte completo à Vera Rubin NVL72, a nova geração de GPUs da NVIDIA voltada para inferência agêntica em grande escala. O trabalho é resultado de uma colaboração estreita entre a equipe do vLLM, Inferact, Red Hat e NVIDIA. Os resultados impressionam: throughput 7,8 vezes maior por GPU em comparação com a GB200 NVL72 no benchmark AgentX, e 3,7 vezes maior nos testes VLM do MLPerf Inference v6.1.

Vantagens arquiteturais da Vera Rubin

A Vera Rubin NVL72 traz melhorias significativas. A plataforma oferece 5 vezes mais FLOPS em NVFP4 para inferência de baixa precisão — fundamental para acelerar a inferência em modelos grandes. A memória foi atualizada para HBM4, com largura de banda 2,4 vezes maior do que a HBM3e usada na GB200. A interconexão entre chips foi aprimorada com NVLink de sexta geração, oferecendo 1,7 vez mais largura de banda.

Uma melhoria fundamental para os transformers está nas operações exponenciais usadas no mecanismo de atenção. A Vera Rubin alcança o dobro de throughput em exponenciais FP32 e quatro vezes mais em BF16/FP16, permitindo que as operações de softmax acompanhem o ritmo dos GEMMs, agora mais rápidos. Isso é crucial, já que o softmax é um dos principais gargalos durante a decodificação.

Suporte no vLLM e modelos compatíveis

O vLLM oferece suporte desde o dia zero para a Vera Rubin graças à compatibilidade arquitetural com a Blackwell. Um novo alvo de compilação, o sm107, suporta kernels compilados para sm100f sem necessidade de modificações. Os usuários podem acessar isso por meio de containers nightly com CUDA 13.4 e PyTorch 2.15 (a imagem vllm/vllm-openai:cu134-nightly).

Os modelos suportados incluem DeepSeek, Moonshot AI (Kimi), Z.ai, MiniMax e GLM. Todos funcionam prontamente graças à compatibilidade dos kernels com a arquitetura Blackwell.

Otimizações para a Vera Rubin

O vLLM utiliza os locality domains do CUDA 13.4 para otimizar as camadas MoE. Os pesos são divididos entre domínios de memória NUMA, permitindo que cada SM leia dados apenas da memória mais próxima. Com o MiniMax M3, isso gera uma aceleração de 1,2 vez em lotes pequenos de decodificação.

Por meio do FlashInfer 0.7.0, foram integrados kernels especializados: GEMM NVFP4 e MXFP4 para operações matriciais de baixa precisão, MoE NVFP4 para roteamento eficiente de especialistas, atenção FP8 e prefill MSA FP8 para cache de prefixo mais rápido.

Desempenho em cenários reais

No benchmark AgentX da SemiAnalysis (MiniMax M3): o vLLM atinge throughput 7,84 vezes maior por GPU mantendo a interatividade, e 5,18 vezes com um limite de 150 TPS.

No MLPerf Inference v6.1: o modelo Qwen3-VL-235B (235 bilhões de parâmetros), usando o vLLM como backend, apresenta throughput 3,7 vezes maior do que na GB300 NVL72 nos três cenários — offline, server e interactive.

Planos de desenvolvimento

A comunidade do vLLM continua otimizando a plataforma. As próximas prioridades incluem: integração do sm107 FlashInfer MegaMoE para modelos de grande escala, suporte completo a locality domains para todas as camadas MoE, sobreposição de kernels via PDL e Lamport Sync para ocultar latência, mega kernels para cenários agênticos de baixa latência, otimização dos kernels KDA e MLA para o Kimi K3, integração dos kernels CSA e HCA para o DeepSeek-V4.1-Flash, finalização dos kernels de decodificação Rubin MSA, e integração do kernel MoE all-to-all com escrita contada CFT.

O trabalho é realizado em conjunto com NVIDIA, Inferact e Red Hat, com apoio ativo da comunidade do vLLM.