Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarAWS Machine Learning Blog→ original

Dos pods comparten una GPU A10G en Amazon EKS: NVIDIA Run:ai asignó 8 GiB a cada uno

Normalmente, Kubernetes entrega la GPU completa a un solo pod, y un compañero espera mientras un notebook ocupa 6 GiB de los 23 disponibles. AWS mostró cómo NVIDIA Run:ai en Amazon EKS divide una tarjeta A10G entre dos pods con un límite de 8 GiB cada uno. Ambos pods ocuparon 6 GiB y la petición de 9 GiB fue rechazada. Para notebooks e inferencia ligera, esto reduce las colas, pero no se midió la mejora de velocidad.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Dos pods comparten una GPU A10G en Amazon EKS: NVIDIA Run:ai asignó 8 GiB a cada uno
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1Sin fraccionamiento, un segundo pod con nvidia.com/gpu: 1 no arranca en el mismo nodo
Dato clave #2La métrica mostró 6,24 GiB por pod, 250 MiB más de lo que asignó la prueba
Dato clave #3El operador exige el driver R615+, por lo que AWS compiló su propia imagen AL2023

Imagine un clúster con una sola GPU. Un analista mantiene abierto un notebook que necesita solo 6 GiB de memoria, y la tarjeta tiene 23 GiB de VRAM. Un compañero quiere ejecutar una evaluación corta de un modelo, pero Kubernetes entregó la GPU completa al primer pod, así que el segundo tiene que esperar aunque sobre memoria libre.

AWS publicó un análisis de cómo resolverlo con NVIDIA Run:ai GPU Fractioning en Amazon EKS (el Kubernetes gestionado de AWS en la nube). En el ejemplo verificado, una GPU NVIDIA A10G de una instancia g5.xlarge se reparte entre dos pods: cada uno recibe un «contrato» de 8 GiB de memoria (GiB, gibibytes) y, en la práctica, cada uno ocupa 6 GiB.

Para los equipos cuyas GPU caras quedan ociosas por culpa de notebooks y servicios pequeños, es una forma de reducir las colas sin comprar más tarjetas.

Cuál es el problema y qué propone Run:ai

Por defecto, el device plugin de NVIDIA presenta a Kubernetes la GPU como un único recurso, nvidia.com/gpu. Dos pods que piden nvidia.com/gpu: 1 no pueden ejecutarse a la vez en el mismo nodo, incluso si su memoria conjunta cabe en la tarjeta. En el banco de pruebas de los autores, sin fraccionamiento ocurrió exactamente eso: el segundo pod se queda esperando.

Hay otras formas de dividir una GPU. MIG parte la tarjeta en particiones por hardware, pero solo funciona en las tarjetas compatibles. El time-slicing del device plugin se limita a alternar procesos y no ofrece aislamiento de memoria ni aislamiento de fallos. MPS permite que varios procesos CUDA trabajen a la vez, y la protección frente a fallos depende de la configuración. Run:ai construye sobre MPS una capa para Kubernetes: un planificador, un contrato de memoria para cada pod, la aplicación forzosa del límite y métricas por pod. NVIDIA liberó el código de Run:ai el 13 de octubre de 2026; el ejemplo usa dos de sus cuatro módulos: KAI Scheduler y GPU Fractioning Operator.

Conviene elegir este enfoque cuando se necesitan límites estrictos de memoria en la GPU sin MIG y se está dispuesto a trabajar con un grupo de nodos de tamaño fijo. Las tareas típicas son notebooks interactivos con largas pausas, evaluaciones cortas de modelos, pruebas de compatibilidad y pequeños servicios de inferencia.

Qué se logró en la práctica

El banco de pruebas se montó en la región us-east-2 con Kubernetes 1.36. Un nodo de sistema m7i.large aloja los controladores del operador y de KAI Scheduler, y el único nodo GPU es un g5.xlarge con una A10G de 23 028 MiB. A cada uno de los dos pods se le añadieron anotaciones con una petición y un límite de 8 GiB, y se indicó el planificador kai-scheduler. No solicitan la GPU entera.

Ambos pods arrancaron en la misma tarjeta y ven exactamente 8 192 MiB. La prueba CUDA asignó 6 144 MiB en cada uno sin problemas. La métrica de memoria mostró unos 6,24 GiB por pod, es decir, 250 MiB más de lo que asignó la prueba. Los autores lo atribuyen al contexto CUDA y a la sobrecarga, pero no midieron ese desglose por separado.

La prueba negativa también salió bien: un pod con un límite de 8 GiB pidió 9 GiB y cudaMalloc devolvió un error de falta de memoria. El estado del pod fue Completed, no OOMKilled, porque la propia prueba gestionó el error. Esto demuestra el rechazo de la asignación de memoria, pero no el aislamiento de fallos.

Trampas a evitar

Lo más molesto es la versión del driver. GPU Fractioning Operator 0.1.7 exige un driver de la rama R615 o posterior, y en la imagen AL2023 optimizada para EKS solo había R580 y R595 en el momento de la verificación. Por eso los autores crearon su propia imagen con Packer, con el driver 615.71.10, NVIDIA Container Toolkit 1.20.1 y containerd 2.3.5 con NRI. Para producción, aconsejan fijar las versiones de los paquetes y de la imagen base. Cuando una imagen de EKS ya preparada incluya el driver necesario, se podrá pasar a ella, aunque habrá que corregir los scripts del ejemplo.

Conviene leer las limitaciones antes de empezar:

  • solo se verificó la combinación G5/A10G; otras GPU requieren su propia comprobación de compatibilidad;
  • el límite de memoria no reserva una parte proporcional del cómputo;
  • la prueba no mide el rendimiento ni el aislamiento de fallos, y no es una garantía de seguridad;
  • más pods por tarjeta no equivalen a más rendimiento ni a menores costes;
  • el banco de pruebas crea recursos de pago: el control plane de EKS, un NAT gateway, instancias y una instantánea de AMI, por lo que hay que limpiar todo después de la verificación.

Qué debería hacer un equipo

Si sus GPU están ociosas por notebooks y servicios pequeños, puede replicar el banco de pruebas del repositorio aws-samples en un clúster desechable. Elija el límite por pod según el pico de consumo medido más un margen para la sobrecarga, y después compruebe las latencias con carga simultánea. Para entrenamientos grandes y servicios sensibles a la latencia, es probable que el fraccionamiento no sea adecuado. Para el resto, es una forma económica de acabar con la cola por la GPU.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Cuál es el problema y qué propone Run:ai?

Por defecto, el device plugin de NVIDIA presenta a Kubernetes la GPU como un único recurso, nvidia.com/gpu. Dos pods que piden nvidia.com/gpu: 1 no pueden ejecutarse a la vez en el mismo nodo, incluso si su memoria conjunta cabe en la tarjeta. En el banco de pruebas de los autores, sin fraccionamiento ocurrió exactamente eso: el segundo pod se queda esperando. Hay otras formas de dividir una GPU. MIG parte la tarjeta en particiones por hardware, pero solo funciona en las tarjetas compatibles.

¿Qué se sabe sobre Qué se logró en la práctica?

El banco de pruebas se montó en la región us-east-2 con Kubernetes 1.36. Un nodo de sistema m7i.large aloja los controladores del operador y de KAI Scheduler, y el único nodo GPU es un g5.xlarge con una A10G de 23 028 MiB. A cada uno de los dos pods se le añadieron anotaciones con una petición y un límite de 8 GiB, y se indicó el planificador kai-scheduler. No solicitan la GPU entera. Ambos pods arrancaron en la misma tarjeta y ven exactamente 8 192 MiB. La prueba CUDA asignó 6 144 MiB en cada uno sin problemas.

¿Qué se sabe sobre Trampas a evitar?

Lo más molesto es la versión del driver. GPU Fractioning Operator 0.1.7 exige un driver de la rama R615 o posterior, y en la imagen AL2023 optimizada para EKS solo había R580 y R595 en el momento de la verificación. Por eso los autores crearon su propia imagen con Packer, con el driver 615.71.10, NVIDIA Container Toolkit 1.20.1 y containerd 2.3.5 con NRI. Para producción, aconsejan fijar las versiones de los paquetes y de la imagen base.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…