Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAPI / Produit · Prêt à l'emploiAWS Machine Learning Blog→ original

AWS lance NVIDIA Dynamo en service managé pour les modèles qui ne tiennent pas sur un seul serveur

Lorsque les poids d'un modèle ne tiennent dans la mémoire d'aucun serveur GPU, il faut monter à la main un cluster d'inférence. AWS prend cette tâche à sa charge : NVIDIA Dynamo fonctionne désormais dans SageMaker HyperPod comme moteur managé. Une seule copie du modèle s'étend sur plusieurs nœuds, l'analyse du prompt et la génération des tokens s'exécutent sur des pools de GPU distincts, et un nœud défaillant est remplacé automatiquement. Pour les équipes qui exploitent de grands modèles de raisonnement, cela supprime la partie la plus fastidieuse de l'exploitation.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
AWS lance NVIDIA Dynamo en service managé pour les modèles qui ne tiennent pas sur un seul serveur
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
MoteursvLLM, SGLang et TensorRT-LLM ; l'API reste compatible OpenAI
Chiffre clé #2Les manifestes DynamoGraphDeployment existants se migrent presque sans modification
Chiffre clé #3La requête est dirigée vers le worker qui détient déjà le KV-cache, ce qui réduit le délai avant le premier token

Les grands modèles de raisonnement se heurtent à une contrainte physique simple : leurs poids ne tiennent dans la mémoire GPU d'aucun serveur. Ajoutez à cela les longs prompts avec contexte de retrieval, qui ralentissent la génération pour les autres utilisateurs, et vous obtenez un casse-tête bien connu des équipes en production. En novembre 2026, AWS a annoncé le lancement de NVIDIA Dynamo en version managée sur SageMaker HyperPod Inference. Cette annonce s'inscrit dans le grand bilan des lancements SageMaker Inference de 2026, mais c'est précisément cette version qui s'attaque au problème d'ingénierie le plus lourd : servir des modèles plus gros qu'une seule machine.

Ce qu'est Dynamo et pourquoi il était peu pratique

NVIDIA Dynamo est un framework open source d'inférence. Il sait faire trois choses : répartir une seule copie du modèle sur plusieurs nœuds (sharding), séparer le traitement du prompt (prefill) et la génération des tokens (decode), et diriger la requête là où se trouve déjà le KV-cache nécessaire.

Il était déjà possible de lancer Dynamo sur son propre Kubernetes, mais il fallait tout construire autour. Il fallait placer tous les nœuds d'une même réplique à proximité les uns des autres. Il fallait configurer le réseau Elastic Fabric Adapter (EFA) pour que le prefill transmette le KV-cache au decode à la vitesse du matériel. Il fallait maintenir les images des serveurs et gérer le cas où un seul nœud défaillant met à terre toute la réplique multi-nœuds.

Comment le travail est désormais réparti

Dynamo prend les décisions de service : comment sharder le modèle, comment séparer prefill et decode, où envoyer chaque requête. HyperPod fournit tout ce dont ces décisions dépendent :

  • les capacités GPU et le réseau EFA sont déployés et connectés automatiquement ;
  • l'état des nœuds est surveillé, les nœuds défaillants sont remplacés et les workers multi-nœuds sont replanifiés automatiquement ;
  • l'autoscaling, l'enregistrement des endpoints, TLS et l'observabilité sont fournis nativement ;
  • l'add-on Inference Operator installe et met à jour Dynamo, les images des serveurs et les planificateurs Grove et KAI sous forme de package unique.

En pratique, cela donne ceci. Une équipe qui dispose d'un modèle de raisonnement de plusieurs centaines de milliards de paramètres lance une réplique unique sur plusieurs nœuds. Prefill et decode s'exécutent sur des pools de GPU distincts, et l'on peut choisir pour chacun le type d'instance adapté. Un long prompt ne ralentit plus les réponses des autres utilisateurs. Et si un nœud tombe en panne, HyperPod le remplace et redémarre la réplique, sans réveiller l'ingénieur d'astreinte.

Le routage KV-aware envoie la requête au worker qui détient déjà le cache nécessaire. Cela réduit le délai avant le premier token, notamment dans les dialogues et le RAG avec des préfixes répétitifs.

Prise en main et compatibilité

AWS décrit trois parcours :

  • Si vous exécutez déjà Dynamo sur votre propre Kubernetes, vous pouvez migrer vos manifestes DynamoGraphDeployment (DGD) existants presque sans modification.
  • Si vous utilisez déjà HyperPod Inference, il suffit de mettre à jour l'add-on et d'ajouter un court bloc dynamoSpec à votre InferenceEndpointConfig existant. HyperPod le convertit en DGD, et les endpoints en service continuent de fonctionner.
  • Si vous débutez avec les deux, vous pouvez créer un cluster avec l'add-on et Dynamo activés directement depuis la console.

Les clients interrogent un endpoint standard compatible OpenAI : le code côté client n'a donc pas besoin d'être modifié. Les moteurs vLLM, SGLang et TensorRT-LLM sont pris en charge, et la disponibilité correspond aux régions où HyperPod est présent.

Limites et conclusion

L'annonce ne contient aucun chiffre de performance : AWS ne cite ni gain de vitesse ni économie. L'effet des pools séparés et du routage KV devra être mesuré sur votre propre trafic. Par ailleurs, cette voie passe par HyperPod, avec ses clusters et son approche Kubernetes. Pour les modèles simples, AWS continue de recommander les endpoints managés de SageMaker.

La conclusion pratique est simple. Si vous comptiez déployer Dynamo ou un vLLM multi-nœuds par vos propres moyens, commencez par évaluer le temps d'ingénierie que demanderaient le placement des nœuds, le réseau et la reprise après incident. C'est précisément cette partie qu'AWS vend désormais comme un service. Vérifiez lors d'un pilote le délai avant le premier token et le coût avec votre ratio réel de requêtes longues et courtes. Pour les équipes qui prévoient de passer à un grand modèle de raisonnement, c'est le moyen le plus rapide d'éviter de devenir opérateur de cluster GPU.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qu'est Dynamo et pourquoi il était peu pratique ?

NVIDIA Dynamo est un framework open source d'inférence. Il sait faire trois choses : répartir une seule copie du modèle sur plusieurs nœuds (sharding), séparer le traitement du prompt (prefill) et la génération des tokens (decode), et diriger la requête là où se trouve déjà le KV-cache nécessaire. Il était déjà possible de lancer Dynamo sur son propre Kubernetes, mais il fallait tout construire autour. Il fallait placer tous les nœuds d'une même réplique à proximité les uns des autres.

Comment le travail est désormais réparti?

Dynamo prend les décisions de service : comment sharder le modèle, comment séparer prefill et decode, où envoyer chaque requête. HyperPod fournit tout ce dont ces décisions dépendent : les capacités GPU et le réseau EFA sont déployés et connectés automatiquement ; l'état des nœuds est surveillé, les nœuds défaillants sont remplacés et les workers multi-nœuds sont replanifiés automatiquement ; l'autoscaling, l'enregistrement des endpoints, TLS et l'observabilité sont fournis nativement ; l'add-on…

Que sait-on sur Prise en main et compatibilité ?

AWS décrit trois parcours : Si vous exécutez déjà Dynamo sur votre propre Kubernetes, vous pouvez migrer vos manifestes DynamoGraphDeployment (DGD) existants presque sans modification. Si vous utilisez déjà HyperPod Inference, il suffit de mettre à jour l'add-on et d'ajouter un court bloc dynamoSpec à votre InferenceEndpointConfig existant. HyperPod le convertit en DGD, et les endpoints en service continuent de fonctionner.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…