Deux pods se partagent un même GPU A10G sur Amazon EKS : NVIDIA Run:ai en alloue 8 Gio à chacun
Kubernetes attribue d'ordinaire la carte graphique entière à un seul pod, et un collègue doit attendre pendant qu'un notebook occupe 6 Gio sur 23. AWS a montré comment NVIDIA Run:ai sur Amazon EKS répartit un seul GPU A10G entre deux pods, avec une limite de 8 Gio chacun. Les deux pods ont occupé 6 Gio chacun, et une demande de 9 Gio a été refusée. Pour les notebooks et l'inférence légère, cela réduit les files d'attente, mais le gain de vitesse n'a pas été mesuré.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Imaginez un cluster doté d'une seule carte graphique. Un analyste garde ouvert un notebook qui n'a besoin que de 6 Gio de mémoire, alors que la carte dispose de 23 Gio de VRAM. Un collègue veut lancer une courte évaluation de modèle, mais Kubernetes a donné le GPU entier au premier pod : le second doit attendre, bien que la mémoire libre soit largement suffisante.
AWS a publié une analyse de la façon de corriger cela avec NVIDIA Run:ai GPU Fractioning sur Amazon EKS (le Kubernetes managé du cloud AWS). Dans l'exemple testé, une carte NVIDIA A10G d'une instance g5.xlarge est partagée entre deux pods : chacun reçoit un « contrat » de 8 Gio de mémoire (Gio : gibioctet), et chacun n'en occupe en réalité que 6.
Pour les équipes dont les GPU coûteux restent inactifs derrière des notebooks et de petits services, c'est un moyen de réduire les files d'attente sans acheter de nouvelles cartes.
Quel est le problème et que propose Run:ai ?
Par défaut, le device plugin de NVIDIA présente à Kubernetes la carte graphique comme une seule ressource, nvidia.com/gpu. Deux pods qui demandent chacun nvidia.com/gpu: 1 ne peuvent pas tourner en même temps sur le même nœud, même si leur mémoire cumulée tient dans la carte. Sur le banc d'essai des auteurs, sans fractionnement, c'est exactement ce qui s'est produit : le second pod reste en attente.
Il existe d'autres méthodes pour partager un GPU. MIG découpe la carte en partitions matérielles, mais ne fonctionne que sur les cartes compatibles. Le time-slicing du device plugin se contente de faire alterner les processus et n'offre ni isolation de la mémoire ni isolation des pannes. MPS permet à plusieurs processus CUDA de s'exécuter simultanément, mais la protection contre les pannes dépend de la configuration. Run:ai construit sur MPS une couche pour Kubernetes : un ordonnanceur, un contrat de mémoire pour chaque pod, l'application stricte de la limite et des métriques par pod. NVIDIA a ouvert le code de Run:ai le 13 octobre 2026 ; l'exemple utilise deux des quatre modules : KAI Scheduler et GPU Fractioning Operator.
Cette approche est à privilégier lorsqu'il faut des limites de mémoire strictes sur GPU sans MIG et que l'on accepte de travailler avec un groupe de nœuds de taille fixe. Cas d'usage typiques : notebooks interactifs aux longues pauses, courtes évaluations de modèles, tests de compatibilité et petits services d'inférence.
Ce que cela donne en pratique
Le banc d'essai est déployé dans la région us-east-2, sous Kubernetes 1.36 : un nœud système m7i.large héberge les contrôleurs de l'opérateur et de KAI Scheduler, et l'unique nœud GPU est un g5.xlarge avec un A10G de 23 028 Mio. Chacun des deux pods reçoit des annotations avec une requête et une limite de 8 Gio, et l'ordonnanceur kai-scheduler est indiqué. Ils ne demandent pas de GPU entière.
Les deux pods ont démarré sur la même carte et voient exactement 8 192 Mio. La sonde CUDA de chacun a alloué 6 144 Mio sans problème. La métrique de mémoire affiche environ 6,24 Gio par pod, soit 250 Mio de plus que ce qu'a alloué la sonde. Les auteurs l'attribuent au contexte CUDA et à des surcoûts, mais n'ont pas mesuré cette répartition séparément.
Le test négatif est lui aussi passé : un pod limité à 8 Gio en a demandé 9, et cudaMalloc a renvoyé une erreur de mémoire insuffisante. Le statut du pod est alors Completed et non OOMKilled, car la sonde a elle-même géré l'erreur. Cela prouve le refus d'allocation de mémoire, mais pas l'isolation des pannes.
Les pièges
Le point le plus gênant est la version du pilote. GPU Fractioning Operator 0.1.7 exige un pilote de la branche R615 ou plus récent, alors que l'image AL2023 optimisée pour EKS ne proposait, au moment du test, que R580 et R595. Les auteurs ont donc construit leur propre image avec Packer, embarquant le pilote 615.71.10, NVIDIA Container Toolkit 1.20.1 et containerd 2.3.5 avec NRI. Pour la production, ils recommandent de figer les versions des paquets et de l'image de base. Quand une image EKS prête à l'emploi intégrera le pilote requis, il sera possible d'y passer, mais les scripts de l'exemple devront être adaptés.
Mieux vaut lire les limites avant de lancer le déploiement :
- seule l'association G5/A10G a été testée ; les autres GPU demandent leur propre vérification de compatibilité ;
- la limite de mémoire ne réserve pas une part proportionnelle de la puissance de calcul ;
- le test ne mesure ni les performances ni l'isolation des pannes, et ne constitue pas une garantie de sécurité ;
- l'augmentation du nombre de pods sur une carte ne signifie pas une hausse du débit ni une baisse des coûts ;
- le banc d'essai crée des ressources payantes : control plane EKS, NAT gateway, instances et snapshot d'AMI ; il faut donc tout nettoyer après la vérification.
Que faire côté équipe
Si vos GPU restent inactifs derrière des notebooks et de petits services, vous pouvez reproduire le banc d'essai du dépôt aws-samples sur un cluster jetable. Choisissez la limite par pod d'après le pic de consommation mesuré, plus une marge pour les surcoûts, puis vérifiez les latences sous charge simultanée. Pour l'entraînement à grande échelle et les services sensibles à la latence, le fractionnement ne conviendra probablement pas. Pour le reste, c'est un moyen peu coûteux de supprimer la file d'attente sur la carte graphique.
- 19 nov. 2026Anthropic entre en Bourse et lève 81,3 milliards de dollars : le record de 75 milliards de SpaceX est battu
- 19 nov. 2026Les parts d'Amazon et de Google dans Anthropic valorisées $308 milliards avec une IPO à $83 l'action
- 19 nov. 2026Les agents AWS AgentCore peuvent désormais joindre un Keycloak fermé protégé par une CA d'entreprise
- 19 nov. 2026Nvidia affiche un chiffre d'affaires record de 115,8 Md$, mais n'a plus été aussi bon marché depuis 2012
Questions clés sur cet article
Quel est le problème et que propose Run:ai ?
Par défaut, le device plugin de NVIDIA présente à Kubernetes la carte graphique comme une seule ressource, nvidia.com/gpu. Deux pods qui demandent chacun nvidia.com/gpu: 1 ne peuvent pas tourner en même temps sur le même nœud, même si leur mémoire cumulée tient dans la carte. Sur le banc d'essai des auteurs, sans fractionnement, c'est exactement ce qui s'est produit : le second pod reste en attente. Il existe d'autres méthodes pour partager un GPU.
Que sait-on sur Ce que cela donne en pratique ?
Le banc d'essai est déployé dans la région us-east-2, sous Kubernetes 1.36 : un nœud système m7i.large héberge les contrôleurs de l'opérateur et de KAI Scheduler, et l'unique nœud GPU est un g5.xlarge avec un A10G de 23 028 Mio. Chacun des deux pods reçoit des annotations avec une requête et une limite de 8 Gio, et l'ordonnanceur kai-scheduler est indiqué. Ils ne demandent pas de GPU entière. Les deux pods ont démarré sur la même carte et voient exactement 8 192 Mio.
Que sait-on sur Les pièges ?
Le point le plus gênant est la version du pilote. GPU Fractioning Operator 0.1.7 exige un pilote de la branche R615 ou plus récent, alors que l'image AL2023 optimisée pour EKS ne proposait, au moment du test, que R580 et R595. Les auteurs ont donc construit leur propre image avec Packer, embarquant le pilote 615.71.10, NVIDIA Container Toolkit 1.20.1 et containerd 2.3.5 avec NRI. Pour la production, ils recommandent de figer les versions des paquets et de l'image de base.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.