NVIDIA Vera Rubin : comment les développeurs vont passer à l'échelle l'IA agentique sans latence

NVIDIA a dévoilé la plateforme Vera Rubin, qui s'attaque au principal problème de la mise à l'échelle de l'IA agentique : la latence imprévisible dans les sessions à plusieurs étapes.

Pourquoi l'IA agentique est plus difficile à mettre à l'échelle

La mise à l'échelle classique des modèles fonctionne pour le traitement par lots (batch) : on envoie beaucoup de textes et on reçoit beaucoup de réponses. L'IA agentique fonctionne autrement. L'agent prend une décision, effectue une action, observe le résultat, puis prend la décision suivante. Cela représente des centaines de requêtes au modèle au sein d'une seule session, chacune avec un petit batch et une exigence de vitesse très stricte. Comme la trajectoire de l'agent ne peut pas être connue à l'avance (on ignore quelle action il choisira), compiler et optimiser le traitement est difficile. Les retards s'accumulent et le contexte de 400K tokens devient un goulot d'étranglement.

La solution à trois couches de Vera Rubin

Plutôt qu'une approche universelle, NVIDIA a intégré à la plateforme trois technologies qui fonctionnent ensemble :

• Des liaisons directes par câble entre les puces : chaque LPU est relié à 96 autres à 112 Gbit/s, ce qui offre 640 To/s de bande passante par rack sans commutateurs
• Un compilateur qui planifie à l'avance tous les transferts de données : au lieu de décider à l'exécution quand et où envoyer les données, le compilateur calcule d'avance chaque bit d'information circulant dans le réseau
• La synchronisation de milliers de puces indépendantes : le système aligne les horloges des accélérateurs LPU pour que le réseau fonctionne avec une latence connue et prévisible

Accélération hybride : NVIDIA + Groq

La plateforme répartit le travail entre les GPU et des accélérateurs spécialisés. Vera Rubin NVL72 traite les couches d'attention (qui aiment la forte bande passante), tandis que Groq 3 LPX prend en charge les couches FFN (qui exigent une faible latence pour la génération séquentielle). Le cache KV est synchronisé entre les deux, token par token. Cela paraît compliqué, mais le résultat est un système qui ne sacrifie ni la vitesse ni la qualité.

Les résultats

• 400 tokens par seconde sur des modèles MoE de 1 000 milliards de paramètres avec un contexte de 400K
• 35x plus de débit par watt que le GB200 NVL72
• Une latence prévisible même lorsque plusieurs agents fonctionnent simultanément

Ce que cela signifie

Pour les développeurs d'agents IA, cela signifie que latence et évolutivité ne sont plus ennemies. Vera Rubin permet de mettre sur la table de gros modèles (mille milliards de paramètres) et d'y exécuter des agents complexes sans sacrifier la vitesse de réponse. En pratique, les assistants personnels, les outils d'automatisation et les agents de travail pourront fonctionner rapidement, même avec un contexte long.