vLLM prend en charge Vera Rubin NVL72 : jusqu'à 7,8x plus de débit par GPU

vLLM bénéficie désormais d'une prise en charge complète de Vera Rubin NVL72, la nouvelle génération de GPU NVIDIA conçue pour l'inférence agentique à grande échelle. Ce travail est le fruit d'une étroite collaboration entre l'équipe vLLM, Inferact, Red Hat et NVIDIA. Les résultats sont impressionnants : un débit 7,8x supérieur par GPU par rapport à GB200 NVL72 sur le benchmark AgentX, et 3,7x supérieur sur les tests VLM de MLPerf Inference v6.1.

Les atouts architecturaux de Vera Rubin

Vera Rubin NVL72 apporte des améliorations substantielles. La plateforme offre 5x plus de FLOPS NVFP4 pour l'inférence en basse précision — un facteur critique pour accélérer l'inférence des grands modèles. La mémoire passe à la génération HBM4, offrant une bande passante 2,4x supérieure à celle du HBM3e sur GB200. Les communications inter-puces sont améliorées grâce au NVLink de 6ᵉ génération, avec une bande passante 1,7x supérieure.

L'amélioration clé pour les transformeurs concerne les opérations exponentielles dans le mécanisme d'attention. Vera Rubin atteint un débit 2x supérieur pour les exponentielles FP32 et 4x supérieur pour BF16/FP16, ce qui permet aux opérations softmax de suivre le rythme des GEMM plus rapides. C'est un point crucial, car le softmax constitue un goulot d'étranglement dans le décodage.

Support dans vLLM et modèles compatibles

vLLM assure une prise en charge dès le jour zéro de Vera Rubin, grâce à sa compatibilité architecturale avec Blackwell. La nouvelle cible de compilation sm107 prend en charge les noyaux compilés pour sm100f sans aucune modification. Les utilisateurs peuvent utiliser les conteneurs nightly avec CUDA 13.4 et PyTorch 2.15 (image vllm/vllm-openai:cu134-nightly).

Modèles pris en charge : DeepSeek, Moonshot AI (Kimi), Z.ai, MiniMax, GLM. Tous fonctionnent dès le départ grâce à la compatibilité des noyaux avec l'architecture Blackwell.

Optimisations pour Vera Rubin

vLLM exploite les domaines de localité (locality domains) de CUDA 13.4 pour optimiser les couches MoE. Les poids sont répartis entre les domaines mémoire NUMA, ce qui permet à chaque SM de lire les données uniquement depuis la mémoire la plus proche. Dans le cas de MiniMax M3, cela se traduit par une accélération de 1,2x sur les petits batchs de décodage.

Via FlashInfer 0.7.0, des noyaux spécialisés ont été intégrés : GEMM NVFP4 et MXFP4 pour les opérations matricielles en basse précision, MoE NVFP4 pour un routage efficace des experts, attention FP8 et prefill MSA FP8 pour accélérer la mise en cache des préfixes.

Performances en conditions réelles

Sur SemiAnalysis AgentX (MiniMax M3) : vLLM atteint un débit 7,84x supérieur par GPU tout en préservant l'interactivité, et 5,18x avec une limite de 150 TPS.

Sur MLPerf Inference v6.1 : le modèle Qwen3-VL-235B (235 milliards de paramètres), utilisant vLLM comme backend, affiche un débit 3,7x supérieur à celui obtenu sur GB300 NVL72, et ce dans les trois scénarios — offline, serveur et interactif.

Perspectives de développement

La communauté vLLM poursuit l'optimisation de la plateforme. Les prochains axes de travail incluent : l'intégration de sm107 FlashInfer MegaMoE pour les modèles à grande échelle, le support complet des domaines de localité pour toutes les couches MoE, le chevauchement des noyaux (overlapping kernels) via PDL et Lamport Sync pour masquer la latence, des mega kernels pour les scénarios agentiques à faible latence, l'optimisation des noyaux KDA et MLA pour Kimi K3, l'intégration des noyaux CSA et HCA pour DeepSeek-V4.1-Flash, la finalisation des noyaux de décodage MSA Rubin, et l'intégration du noyau CFT counted-write MoE all-to-all.

Ce travail se poursuit en collaboration avec NVIDIA, Inferact et Red Hat, avec le soutien actif de la communauté vLLM.