AWS intègre Dynamo à HyperPod : Qwen3-235B passe de 101 à 207 tokens/s par GPU
Un grand modèle ne tient pas sur un seul serveur, et le long prompt d'un client ralentit les réponses de tous les autres. AWS a ajouté à SageMaker HyperPod la prise en charge de NVIDIA Dynamo, qui confie la lecture de la requête et la génération de la réponse à des groupes de GPU distincts. Sur Qwen3-235B avec 16 GPU H200, le débit atteint 207 tokens par seconde et par GPU, contre 101, soit 2,05 fois plus. Si vous hébergez votre propre LLM sur AWS, testez le mode désagrégé sur votre trafic réel.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Prenez un chatbot reposant sur un grand modèle de langage. Un utilisateur colle dans sa requête un document d'une centaine de pages. Tant que les GPU le « lisent », les autres clients attendent les mots suivants de leurs réponses.
Second problème : les poids du modèle ne tiennent tout simplement pas dans la mémoire d'un seul serveur. Amazon a ajouté à SageMaker HyperPod Inference, la plateforme gérée par AWS pour exécuter des modèles sur des clusters de GPU, la prise en charge de NVIDIA Dynamo, un framework open source d'inférence distribuée. Il répartit la lecture de la requête et la génération de la réponse sur des groupes de GPU différents.
Lors d'un test sur Qwen3-235B, cela a donné 207 tokens de sortie par seconde et par GPU, contre 101 avec le schéma classique, soit 2,05 fois plus à contraintes de latence identiques.
Pour situer l'échelle : les poids FP8 de GLM-5.3, que prend en exemple AWS, ne tiennent pas dans les 640 Go de mémoire d'une seule instance ml.p5.48xlarge. Et il faut encore de la place pour le KV-cache (la mémoire du modèle sur le texte qu'il a déjà lu) et pour les données de service du runtime.
Ce que Dynamo sait faire
Premier point : la séparation du travail en deux phases. Pendant le prefill, le modèle « lit » le prompt ; pendant le decode, il génère les tokens de la réponse un par un. Ces phases sollicitent le matériel différemment. Quand elles partagent les mêmes GPU, un long prompt ralentit la génération des autres requêtes. Dynamo alloue à chaque phase son propre pool de workers, et les deux pools peuvent évoluer indépendamment. Le KV-cache circule entre les pools via le réseau rapide EFA.
Deuxième point : le déploiement multinœud. Un même worker peut s'étendre sur plusieurs instances si le modèle ne tient pas sur une seule. Cela fonctionne aussi bien en mode désagrégé qu'en mode classique (aggregated), où les deux phases s'exécutent sur le même worker.
Troisième point : le routage KV-aware. Le routeur repère quel worker détient déjà le cache correspondant au début commun d'un prompt, et tient compte de sa charge. Par exemple, si toutes les requêtes partagent le même long prompt système, inutile de le recalculer à chaque fois. Le temps jusqu'au premier token diminue, et les workers surchargés ne reçoivent pas de trafic en trop.
HyperPod ajoute ce qu'il faut d'ordinaire assembler à la main : supervision de l'état des nœuds, des GPU et d'EFA, remplacement des nœuds défaillants et placement cohérent des pods. Pour les workers multinœuds, le planificateur Kubernetes AI (KAI) avec gang scheduling lance simultanément tous les pods nécessaires, afin qu'un worker ne reste pas bloqué à moitié démarré.
Deux façons de déployer
Si vous travaillez déjà avec Dynamo, vous pouvez apporter votre propre DynamoGraphDeployment (DGD). La documentation et les recettes restent les mêmes, mais vous configurez vous-même le stockage, le réseau, le placement des pods et l'autoscaling. Si vous utilisez HyperPod Inference, un InferenceEndpointConfig (IEC) avec une section dynamoSpec suffit. L'opérateur récupère lui-même les poids depuis S3 ou FSx, déploie un endpoint avec TLS et branche l'autoscaling via KEDA.
La configuration est courte. Pour deux instances (16 GPU), on indique nodesPerReplica: 2 et tensorParallelism: 16, tandis que routingMode: kv-aware active le routage intelligent. En mode désagrégé, le bloc aggregation est remplacé par prefill et decode, avec un nombre de réplicas propre à chacun. Exemple d'AWS : une réplique prefill et deux decode de deux instances chacune, soit six instances au total. Les requêtes vers l'endpoint passent par SageMaker Runtime, dans un format compatible avec OpenAI.
Ce que montrent les mesures
Premier test : Qwen3-235B-A22B-FP8 sur TensorRT-LLM, deux instances p5en.48xlarge (16 GPU H200), requêtes de 4 000 tokens en entrée et 200 en sortie. Seuls les régimes où le P90 du temps jusqu'au premier token restait sous la seconde, et où la vitesse médiane de génération n'était pas inférieure à 50 tokens par seconde et par utilisateur, ont été retenus. Le meilleur résultat en mode désagrégé s'élève à 207 tokens par seconde et par GPU pour une concurrence de 80, le meilleur en mode classique à 101 pour une concurrence de 32.
Le second test cherchait à vérifier si la liaison internœud pénalise les performances. Qwen3.5-397B-A17B-FP8 sur vLLM avec TP4 × PP2 a été lancé sur une instance à huit GPU, puis sur deux instances à quatre GPU. Sur une charge agentique avec de fréquentes répétitions de préfixes, à une concurrence de 32, le schéma à deux nœuds a donné 126,4 tokens par seconde et par GPU, soit 99,1% du résultat d'un seul nœud. Ce modèle tient sur une seule instance : en pratique, il n'y a donc pas lieu de le répartir. Le test servait de vérification de contrôle : la frontière entre nœuds ne coûte presque rien.
Que faire de ces résultats
Les chiffres proviennent d'AWS et de NVIDIA eux-mêmes, sur deux modèles et des profils de trafic précis. Il ne faut donc pas transposer tel quel le facteur 2,05× à votre propre système. Le mode désagrégé est plutôt à essayer avec des prompts longs et des limites de latence strictes.
Les recommandations des auteurs sont pragmatiques. Prenez la recette Dynamo adaptée à votre modèle, à votre moteur et à vos GPU. Avant de mesurer, vérifiez que le KV-cache circule bien entre les workers via EFA. Lancez AIPerf sur du trafic réel avec différents niveaux de concurrence, et ne gardez que les points qui respectent vos SLA. Commencez le réglage par la topologie et la répartition des workers, puis passez seulement aux paramètres du moteur, en ne modifiant qu'une variable à la fois.
- 18 nov. 2026Le nouveau modèle Jev répond en 150 ms, contre 1,89 s pour GPT-6 Astra
- 18 nov. 2026AWS montre comment ouvrir les API privées aux agents Bedrock via un pare-feu central
- 18 nov. 2026Airbnb change de modèle pour ses agents de codage : les dépenses des gros utilisateurs divisées par 7
- 18 nov. 2026Duco réduit de 90% le contexte de ses agents et accélère par 10 la migration des réconciliations bancaires
Questions clés sur cet article
Que sait-on sur Ce que Dynamo sait faire ?
Premier point : la séparation du travail en deux phases. Pendant le prefill, le modèle « lit » le prompt ; pendant le decode, il génère les tokens de la réponse un par un. Ces phases sollicitent le matériel différemment. Quand elles partagent les mêmes GPU, un long prompt ralentit la génération des autres requêtes. Dynamo alloue à chaque phase son propre pool de workers, et les deux pools peuvent évoluer indépendamment. Le KV-cache circule entre les pools via le réseau rapide EFA.
Que sait-on sur Deux façons de déployer ?
Si vous travaillez déjà avec Dynamo, vous pouvez apporter votre propre DynamoGraphDeployment (DGD). La documentation et les recettes restent les mêmes, mais vous configurez vous-même le stockage, le réseau, le placement des pods et l'autoscaling. Si vous utilisez HyperPod Inference, un InferenceEndpointConfig (IEC) avec une section dynamoSpec suffit. L'opérateur récupère lui-même les poids depuis S3 ou FSx, déploie un endpoint avec TLS et branche l'autoscaling via KEDA. La configuration est courte.
Que sait-on sur Ce que montrent les mesures ?
Premier test : Qwen3-235B-A22B-FP8 sur TensorRT-LLM, deux instances p5en.48xlarge (16 GPU H200), requêtes de 4 000 tokens en entrée et 200 en sortie. Seuls les régimes où le P90 du temps jusqu'au premier token restait sous la seconde, et où la vitesse médiane de génération n'était pas inférieure à 50 tokens par seconde et par utilisateur, ont été retenus.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.