Vera Rubin NVL72 devance le GB300 jusqu'à 5,7 fois en tokens par mégawatt sur AA-AgentPerf

Les premiers chiffres indépendants sur le NVIDIA Vera Rubin NVL72 montrent un écart très variable avec son prédécesseur selon le régime de fonctionnement. Artificial Analysis a ajouté ce rack à son benchmark AA-AgentPerf. En débit total par mégawatt de puissance GPU, Rubin devance le GB300 NVL72 jusqu'à 5,7x sur DeepSeek V4 Pro (à ~190 tok/s par utilisateur), jusqu'à 5,4x sur DeepSeek V4.1 Flash (~580 tok/s), de 3,0x sur GLM-5.2 (~165 tok/s) et de 2,8x sur Kimi K3 (~67 tok/s). Mais en débit de pointe, l'écart est nettement plus modeste : 1,14x, 1,45x, 1,35x et 1,26x respectivement.

Pourquoi le codage agentique est difficile à servir

AA-AgentPerf n'envoie pas de prompts fixes. Il rejoue de vraies trajectoires d'agents de codage ayant résolu des tâches dans des dépôts publics : 500 trajectoires et 18 997 requêtes. Une requête peut contenir jusqu'à 132K tokens en entrée, tandis que la réponse se limite souvent à un court appel d'outil. En moyenne, 97 % de l'entrée reprend la requête précédente. L'une des longues trajectoires passe de 10K à 116K tokens en 118 requêtes et envoie au modèle 9,7M tokens en entrée, dont seulement 116K sont nouveaux.

Tout se joue donc sur la capacité et la réutilisation du KV-cache, sur un prefill irrégulier (de quelques tokens à 69K par tour) et sur le temps jusqu'au premier token. Entre deux requêtes, l'agent attend jusqu'à 5 secondes pendant l'appel d'un outil, et le cache doit survivre à cette pause.

Ce qui change côté matériel

Le rack conserve la conception du GB300 : 72 GPU et 36 CPU dans un même domaine NVLink. La mémoire par GPU reste de 288 Go, mais il s'agit désormais de HBM4.

• Bande passante mémoire : 19,2 To/s contre 8 To/s sur Blackwell Ultra (2,4x).
• NVLink 6 : 3,0 To/s contre 1,8 To/s.
• Calcul dense NVFP4 : 35 PFLOPS contre 15 PFLOPS (2,3x).
• CPU : Vera avec 88 cœurs contre 72 pour Grace, et un lien NVLink-C2C vers le GPU de 1,8 To/s contre 0,9 To/s. C'est par ce lien que transite le KV-cache déchargé dans la mémoire du CPU.
• Puissance GPU mesurée sous charge : 0,5–1,9 kW contre 0,3–1,0 kW.

À pleine charge, Rubin délivre 272M tokens/s par MW sur DeepSeek V4 Pro (239M pour le GB300), 571M sur DeepSeek V4.1 Flash (395M), 272M sur GLM-5.2 (201M) et 70M sur Kimi K3 (56M). Le chiffre de 571M est un record sur l'ensemble du classement. Ramené à un seul GPU, l'avantage est plus large : 2,0–2,5x au pic et jusqu'à ~18x sur DeepSeek V4.1 Flash à ~580 tok/s.

L'écart se creuse là où le GB300 décroche. Sur DeepSeek V4 Pro, passer de ~120 à ~165 tok/s par utilisateur coûte au GB300 81 % de débit par MW, contre seulement 16 % pour Rubin. Rubin établit aussi des records de vitesse : 906 tok/s sur DeepSeek V4.1 Flash (plus vite que n'importe quel résultat, tous modèles confondus), 408 tok/s sur GLM-5.2 et 255 tok/s sur Kimi K3.

Où le tableau est moins net

Ces résultats comportent des réserves, et Artificial Analysis les mentionne. Le temps médian jusqu'au premier token de Rubin sur DeepSeek V4 Pro à ~165 tok/s est de 1,65 s, contre 1,08 s pour le GB300. Si l'on mesure la vitesse de bout en bout, qui inclut cette attente, le GB300 rejoint Rubin ou le dépasse en débit par MW sur la plupart des régimes.

Les racks GB300 soumis par NVIDIA sur DeepSeek V4 Pro ne dépassent pas ~163 tok/s par utilisateur. Au-delà, la courbe du GB300 repose sur de petites configurations à 4 GPU, montées par Artificial Analysis elle-même. Au-dessus de ~255 tok/s, ces configurations produisent plus de tokens par MW que Rubin.

Sur DeepSeek V4.1 Flash, NVIDIA a limité les réponses à 2 048 tokens, alors que la limite des autres résultats est de 16 384. Environ 2 % des réponses ont atteint cette limite, et la longueur moyenne des réponses est inférieure d'environ un dixième. Cela avantage légèrement Rubin. Par ailleurs, seule la puissance des GPU eux-mêmes, HBM comprise, est mesurée, sans les CPU, le réseau ni le refroidissement.

Ce qu'il faut vérifier avant d'acheter

Le gain de Rubin est le plus marqué lorsque le produit dépend d'une vitesse élevée par utilisateur : agents rapides, réponses courtes et long contexte mis en cache. Si c'est la limite de puissance du datacenter qui vous contraint, et non le nombre d'accélérateurs, voici un repère : à ~165 tok/s par utilisateur, le même budget de puissance produit environ 5 fois plus de tokens DeepSeek V4 Pro qu'avec le GB300.

Avant de décider, déterminez votre métrique cible : vitesse de bout en bout ou vitesse après le premier token. Vérifiez aussi votre sensibilité à la latence de démarrage : pour les scénarios interactifs, 0,5 seconde d'écart se remarque. Chaque point du classement s'accompagne d'un artefact : la configuration de serving, disponible dans le navigateur de configurations. Elle peut servir de point de départ au réglage, sans mener votre propre étude de performances.