Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAPI / Producto · Listo para usarAWS Machine Learning Blog→ original

AWS lanza NVIDIA Dynamo como servicio gestionado para modelos que no caben en un solo servidor

Si los pesos de un modelo no caben en la memoria de ningún servidor con GPU, el clúster de inferencia hay que montarlo a mano. AWS se ha hecho cargo de esa tarea: NVIDIA Dynamo ya funciona en SageMaker HyperPod como motor gestionado. Una sola copia del modelo se reparte entre varios nodos, el análisis del prompt y la generación de tokens se ejecutan en pools de GPU distintos, y los nodos que fallan se sustituyen solos. Para los equipos con grandes modelos de razonamiento, esto elimina la parte más tediosa de la operación.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
AWS lanza NVIDIA Dynamo como servicio gestionado para modelos que no caben en un solo servidor
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
MotoresvLLM, SGLang y TensorRT-LLM; la API sigue siendo compatible con OpenAI
Dato clave #2Los manifiestos DynamoGraphDeployment existentes se migran casi sin cambios
Dato clave #3La petición va al worker que ya tiene la caché KV lista, lo que reduce el tiempo hasta el primer token

Los grandes modelos de razonamiento chocan con un límite físico muy simple: los pesos no caben en la memoria de GPU de ningún servidor. A eso se suman los prompts largos con contexto de retrieval, que frenan la generación para el resto de los usuarios. El resultado es un dolor de cabeza conocido para los equipos que trabajan en producción. En noviembre de 2026, AWS anunció el lanzamiento de NVIDIA Dynamo gestionado en SageMaker HyperPod Inference. Forma parte de un amplio repaso de los lanzamientos de SageMaker Inference de 2026, pero es esta novedad la que resuelve el problema de ingeniería más pesado: servir modelos que son más grandes que una sola máquina.

Qué es Dynamo y por qué resultaba incómodo

NVIDIA Dynamo es un framework de inferencia de código abierto. Hace tres cosas: reparte una copia del modelo entre varios nodos (sharding), separa el procesamiento del prompt (prefill) de la generación de tokens (decode) y dirige cada petición al lugar donde ya está la caché KV necesaria.

Ejecutar Dynamo sobre un Kubernetes propio ya era posible, pero había que construir todo lo demás por cuenta propia. Era necesario colocar todos los nodos de una réplica cerca unos de otros. Había que configurar la red Elastic Fabric Adapter (EFA) para que el prefill transfiriera la caché KV al decode a la velocidad del hardware. Había que mantener las imágenes de los servidores y resolver el problema de que un solo nodo caído tumba toda la réplica multinodo.

Cómo se reparte ahora el trabajo

Dynamo toma las decisiones de servicio: cómo hacer el sharding del modelo, cómo separar prefill y decode y adónde enviar cada petición. HyperPod se encarga de todo aquello de lo que dependen esas decisiones:

  • la capacidad de GPU y la red EFA se despliegan y se conectan automáticamente;
  • se supervisa el estado de los nodos, se sustituyen los defectuosos y los workers multinodo se replanifican solos;
  • el autoescalado, el registro de endpoints, TLS y la observabilidad vienen de serie;
  • el add-on Inference Operator instala y actualiza Dynamo, las imágenes de los servidores y los planificadores Grove y KAI como un único paquete.

En la práctica funciona así. Un equipo con un modelo de razonamiento de cientos de miles de millones de parámetros lanza una réplica en varios nodos. Prefill y decode se ejecutan en pools de GPU independientes, y para cada uno se puede elegir el tipo de instancia más adecuado. Un prompt largo ya no ralentiza las respuestas a otros usuarios. Y si un nodo falla, HyperPod lo sustituye y reinicia la réplica, sin despertar al ingeniero de guardia.

El enrutamiento KV-aware envía la petición al worker que ya guarda la caché necesaria. Esto reduce el tiempo hasta el primer token, sobre todo en conversaciones y en RAG con prefijos repetidos.

Cómo empezar y qué compatibilidad hay

AWS describe tres vías:

  • Si ya ejecutas Dynamo en tu propio Kubernetes, puedes migrar los manifiestos DynamoGraphDeployment (DGD) existentes casi sin cambios.
  • Si ya usas HyperPod Inference, basta con actualizar el add-on y añadir un bloque breve dynamoSpec al InferenceEndpointConfig existente. HyperPod lo convierte en un DGD y los endpoints actuales seguirán funcionando.
  • Si eres nuevo en ambos, puedes crear un clúster con el add-on y Dynamo habilitados directamente desde la consola.

Los clientes se conectan a un endpoint estándar compatible con OpenAI, así que no hace falta modificar el código del cliente. Se admiten los motores vLLM, SGLang y TensorRT-LLM, y la disponibilidad coincide con las regiones donde existe HyperPod.

Limitaciones y conclusión

El anuncio no incluye cifras de rendimiento: AWS no aporta ni mejoras de velocidad ni ahorro de costes. El efecto de los pools separados y del enrutamiento KV habrá que medirlo con el tráfico propio. Además, este es un camino para HyperPod, con sus clústeres y su enfoque basado en Kubernetes. Para los modelos sencillos, AWS sigue recomendando los endpoints gestionados de SageMaker.

La conclusión práctica es simple. Si pensabas desplegar Dynamo o vLLM multinodo por tu cuenta, calcula primero cuánto tiempo de ingeniería exigirán la colocación de nodos, la red y la recuperación tras fallos. Esa es precisamente la parte que AWS vende ahora como servicio. Comprueba en un piloto el tiempo hasta el primer token y el coste con tu proporción real de peticiones largas y cortas. Para los equipos que planean pasar a un gran modelo de razonamiento, es la forma más rápida de no acabar convertidos en operadores de un clúster de GPU.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué es Dynamo y por qué resultaba incómodo?

NVIDIA Dynamo es un framework de inferencia de código abierto. Hace tres cosas: reparte una copia del modelo entre varios nodos (sharding), separa el procesamiento del prompt (prefill) de la generación de tokens (decode) y dirige cada petición al lugar donde ya está la caché KV necesaria. Ejecutar Dynamo sobre un Kubernetes propio ya era posible, pero había que construir todo lo demás por cuenta propia. Era necesario colocar todos los nodos de una réplica cerca unos de otros.

Cómo se reparte ahora el trabajo?

Dynamo toma las decisiones de servicio: cómo hacer el sharding del modelo, cómo separar prefill y decode y adónde enviar cada petición. HyperPod se encarga de todo aquello de lo que dependen esas decisiones: la capacidad de GPU y la red EFA se despliegan y se conectan automáticamente; se supervisa el estado de los nodos, se sustituyen los defectuosos y los workers multinodo se replanifican solos; el autoescalado, el registro de endpoints, TLS y la observabilidad vienen de serie; el add-on…

Cómo empezar y qué compatibilidad hay?

AWS describe tres vías: Si ya ejecutas Dynamo en tu propio Kubernetes, puedes migrar los manifiestos DynamoGraphDeployment (DGD) existentes casi sin cambios. Si ya usas HyperPod Inference, basta con actualizar el add-on y añadir un bloque breve dynamoSpec al InferenceEndpointConfig existente. HyperPod lo convierte en un DGD y los endpoints actuales seguirán funcionando. Si eres nuevo en ambos, puedes crear un clúster con el add-on y Dynamo habilitados directamente desde la consola.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…