Dos pods comparten una GPU A10G en Amazon EKS: NVIDIA Run:ai asignó 8 GiB a cada uno
Normalmente, Kubernetes entrega la GPU completa a un solo pod, y un compañero espera mientras un notebook ocupa 6 GiB de los 23 disponibles. AWS mostró cómo NVIDIA Run:ai en Amazon EKS divide una tarjeta A10G entre dos pods con un límite de 8 GiB cada uno. Ambos pods ocuparon 6 GiB y la petición de 9 GiB fue rechazada. Para notebooks e inferencia ligera, esto reduce las colas, pero no se midió la mejora de velocidad.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Imagine un clúster con una sola GPU. Un analista mantiene abierto un notebook que necesita solo 6 GiB de memoria, y la tarjeta tiene 23 GiB de VRAM. Un compañero quiere ejecutar una evaluación corta de un modelo, pero Kubernetes entregó la GPU completa al primer pod, así que el segundo tiene que esperar aunque sobre memoria libre.
AWS publicó un análisis de cómo resolverlo con NVIDIA Run:ai GPU Fractioning en Amazon EKS (el Kubernetes gestionado de AWS en la nube). En el ejemplo verificado, una GPU NVIDIA A10G de una instancia g5.xlarge se reparte entre dos pods: cada uno recibe un «contrato» de 8 GiB de memoria (GiB, gibibytes) y, en la práctica, cada uno ocupa 6 GiB.
Para los equipos cuyas GPU caras quedan ociosas por culpa de notebooks y servicios pequeños, es una forma de reducir las colas sin comprar más tarjetas.
Cuál es el problema y qué propone Run:ai
Por defecto, el device plugin de NVIDIA presenta a Kubernetes la GPU como un único recurso, nvidia.com/gpu. Dos pods que piden nvidia.com/gpu: 1 no pueden ejecutarse a la vez en el mismo nodo, incluso si su memoria conjunta cabe en la tarjeta. En el banco de pruebas de los autores, sin fraccionamiento ocurrió exactamente eso: el segundo pod se queda esperando.
Hay otras formas de dividir una GPU. MIG parte la tarjeta en particiones por hardware, pero solo funciona en las tarjetas compatibles. El time-slicing del device plugin se limita a alternar procesos y no ofrece aislamiento de memoria ni aislamiento de fallos. MPS permite que varios procesos CUDA trabajen a la vez, y la protección frente a fallos depende de la configuración. Run:ai construye sobre MPS una capa para Kubernetes: un planificador, un contrato de memoria para cada pod, la aplicación forzosa del límite y métricas por pod. NVIDIA liberó el código de Run:ai el 13 de octubre de 2026; el ejemplo usa dos de sus cuatro módulos: KAI Scheduler y GPU Fractioning Operator.
Conviene elegir este enfoque cuando se necesitan límites estrictos de memoria en la GPU sin MIG y se está dispuesto a trabajar con un grupo de nodos de tamaño fijo. Las tareas típicas son notebooks interactivos con largas pausas, evaluaciones cortas de modelos, pruebas de compatibilidad y pequeños servicios de inferencia.
Qué se logró en la práctica
El banco de pruebas se montó en la región us-east-2 con Kubernetes 1.36. Un nodo de sistema m7i.large aloja los controladores del operador y de KAI Scheduler, y el único nodo GPU es un g5.xlarge con una A10G de 23 028 MiB. A cada uno de los dos pods se le añadieron anotaciones con una petición y un límite de 8 GiB, y se indicó el planificador kai-scheduler. No solicitan la GPU entera.
Ambos pods arrancaron en la misma tarjeta y ven exactamente 8 192 MiB. La prueba CUDA asignó 6 144 MiB en cada uno sin problemas. La métrica de memoria mostró unos 6,24 GiB por pod, es decir, 250 MiB más de lo que asignó la prueba. Los autores lo atribuyen al contexto CUDA y a la sobrecarga, pero no midieron ese desglose por separado.
La prueba negativa también salió bien: un pod con un límite de 8 GiB pidió 9 GiB y cudaMalloc devolvió un error de falta de memoria. El estado del pod fue Completed, no OOMKilled, porque la propia prueba gestionó el error. Esto demuestra el rechazo de la asignación de memoria, pero no el aislamiento de fallos.
Trampas a evitar
Lo más molesto es la versión del driver. GPU Fractioning Operator 0.1.7 exige un driver de la rama R615 o posterior, y en la imagen AL2023 optimizada para EKS solo había R580 y R595 en el momento de la verificación. Por eso los autores crearon su propia imagen con Packer, con el driver 615.71.10, NVIDIA Container Toolkit 1.20.1 y containerd 2.3.5 con NRI. Para producción, aconsejan fijar las versiones de los paquetes y de la imagen base. Cuando una imagen de EKS ya preparada incluya el driver necesario, se podrá pasar a ella, aunque habrá que corregir los scripts del ejemplo.
Conviene leer las limitaciones antes de empezar:
- solo se verificó la combinación G5/A10G; otras GPU requieren su propia comprobación de compatibilidad;
- el límite de memoria no reserva una parte proporcional del cómputo;
- la prueba no mide el rendimiento ni el aislamiento de fallos, y no es una garantía de seguridad;
- más pods por tarjeta no equivalen a más rendimiento ni a menores costes;
- el banco de pruebas crea recursos de pago: el control plane de EKS, un NAT gateway, instancias y una instantánea de AMI, por lo que hay que limpiar todo después de la verificación.
Qué debería hacer un equipo
Si sus GPU están ociosas por notebooks y servicios pequeños, puede replicar el banco de pruebas del repositorio aws-samples en un clúster desechable. Elija el límite por pod según el pico de consumo medido más un margen para la sobrecarga, y después compruebe las latencias con carga simultánea. Para entrenamientos grandes y servicios sensibles a la latencia, es probable que el fraccionamiento no sea adecuado. Para el resto, es una forma económica de acabar con la cola por la GPU.
- 19 nov 2026Anthropic sale a bolsa y recauda $81,3 mil millones: supera el récord de $75 mil millones de SpaceX
- 19 nov 2026Las participaciones de Amazon y Google en Anthropic se valoran en $308 mil millones con la IPO a $83 por acción
- 19 nov 2026Los agentes de AWS AgentCore ya pueden conectarse a un Keycloak privado con CA corporativa
- 19 nov 2026Nvidia presenta unos ingresos récord de 115,8 mil millones de dólares, pero cotiza más barata que en cualquier momento desde 2012
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Cuál es el problema y qué propone Run:ai?
Por defecto, el device plugin de NVIDIA presenta a Kubernetes la GPU como un único recurso, nvidia.com/gpu. Dos pods que piden nvidia.com/gpu: 1 no pueden ejecutarse a la vez en el mismo nodo, incluso si su memoria conjunta cabe en la tarjeta. En el banco de pruebas de los autores, sin fraccionamiento ocurrió exactamente eso: el segundo pod se queda esperando. Hay otras formas de dividir una GPU. MIG parte la tarjeta en particiones por hardware, pero solo funciona en las tarjetas compatibles.
¿Qué se sabe sobre Qué se logró en la práctica?
El banco de pruebas se montó en la región us-east-2 con Kubernetes 1.36. Un nodo de sistema m7i.large aloja los controladores del operador y de KAI Scheduler, y el único nodo GPU es un g5.xlarge con una A10G de 23 028 MiB. A cada uno de los dos pods se le añadieron anotaciones con una petición y un límite de 8 GiB, y se indicó el planificador kai-scheduler. No solicitan la GPU entera. Ambos pods arrancaron en la misma tarjeta y ven exactamente 8 192 MiB. La prueba CUDA asignó 6 144 MiB en cada uno sin problemas.
¿Qué se sabe sobre Trampas a evitar?
Lo más molesto es la versión del driver. GPU Fractioning Operator 0.1.7 exige un driver de la rama R615 o posterior, y en la imagen AL2023 optimizada para EKS solo había R580 y R595 en el momento de la verificación. Por eso los autores crearon su propia imagen con Packer, con el driver 615.71.10, NVIDIA Container Toolkit 1.20.1 y containerd 2.3.5 con NRI. Para producción, aconsejan fijar las versiones de los paquetes y de la imagen base.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.