Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
InfraestructuraAnálisis · En radarAWS Machine Learning Blog→ original

AWS integra Dynamo en HyperPod: Qwen3-235B pasa de 101 a 207 tokens/s por GPU

Un modelo grande no cabe en un solo servidor, y el prompt largo de un cliente ralentiza las respuestas de los demás. AWS ha añadido a SageMaker HyperPod compatibilidad con NVIDIA Dynamo, que asigna la lectura de la solicitud y la generación de la respuesta a grupos de GPU distintos. Con Qwen3-235B y 16 GPU H200, el resultado fue de 207 tokens por segundo por GPU frente a 101, es decir, 2,05 veces más. Si ejecutas tu propio LLM en AWS, prueba el modo desagregado con tráfico real.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
AWS integra Dynamo en HyperPod: Qwen3-235B pasa de 101 a 207 tokens/s por GPU
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dos vías de despliegueun DynamoGraphDeployment propio o IEC con dynamoSpec
Dato clave #2Qwen3.5-397B en dos nodos mantuvo el 99,1% de la velocidad de un solo nodo
Motores a elegirvLLM (por defecto), SGLang, TensorRT-LLM

Imagina un chatbot basado en un gran modelo de lenguaje. Un usuario pega en su consulta un documento de cien páginas y, mientras las GPU lo «leen», el resto de los clientes esperan las siguientes palabras de sus respuestas. Hay un segundo problema: los pesos del modelo no caben en la memoria de un solo servidor.

Amazon ha añadido a SageMaker HyperPod Inference (la plataforma gestionada de AWS para ejecutar modelos en clústeres de GPU) compatibilidad con NVIDIA Dynamo, un framework abierto de inferencia distribuida. Dynamo reparte la lectura de la solicitud y la generación de la respuesta entre distintos grupos de GPU. En una prueba con Qwen3-235B, esto dio 207 tokens de salida por segundo por cada GPU frente a 101 con el esquema habitual, es decir, 2,05 veces más con las mismas restricciones de latencia.

Para dimensionarlo: los pesos FP8 de GLM-5.3, el ejemplo que usa AWS, no caben en los 640 GB de memoria de una sola instancia ml.p5.48xlarge. Además, hace falta espacio para la KV-cache (la memoria del modelo sobre el texto que ya ha leído) y para los datos auxiliares del runtime.

Qué hace exactamente Dynamo

Primero: separa el trabajo en dos fases. En el prefill, el modelo «lee» el prompt; en el decode, genera los tokens de la respuesta uno a uno. Las fases cargan el hardware de forma distinta y, cuando comparten las mismas GPU, un prompt largo frena la generación de otras solicitudes. Dynamo asigna a cada fase su propio pool de workers, y ambos pueden escalarse de forma independiente. La KV-cache viaja entre los pools por la red rápida EFA.

Segundo: ejecución multinodo. Un worker puede ocupar varias instancias si el modelo no cabe en una. Esto funciona tanto en el modo desagregado como en el habitual (aggregated), en el que ambas fases se ejecutan en el mismo worker.

Tercero: enrutamiento KV-aware. El router ve en qué worker ya está la caché del inicio común de un prompt y tiene en cuenta su carga. Por ejemplo, si todas las solicitudes comparten el mismo prompt de sistema largo, no hace falta recalcularlo cada vez. El tiempo hasta el primer token baja y los workers sobrecargados no reciben trabajo de más.

HyperPod añade lo que normalmente hay que montar a mano: monitorización del estado de los nodos, las GPU y EFA, sustitución de nodos averiados y colocación coordinada de los pods. Para los workers multinodo, el planificador Kubernetes AI (KAI) con gang scheduling lanza todos los pods necesarios a la vez, de modo que un worker no se quede a medio arrancar.

Dos formas de desplegarlo

Si ya trabajas con Dynamo, puedes traer tu propio DynamoGraphDeployment (DGD). La documentación y las recetas siguen siendo las mismas, pero el almacenamiento, la red, la colocación de pods y el autoescalado los configuras tú. Si usas HyperPod Inference, basta con un InferenceEndpointConfig (IEC) con la sección dynamoSpec. El operador descarga los pesos desde S3 o FSx, levanta un endpoint con TLS y conecta el autoescalado mediante KEDA.

La configuración es corta. Para dos instancias (16 GPU) se indican nodesPerReplica: 2 y tensorParallelism: 16, y routingMode: kv-aware activa el enrutamiento inteligente. En el modo desagregado, el bloque aggregation se sustituye por prefill y decode, cada uno con su número de réplicas. Ejemplo de AWS: una réplica de prefill y dos de decode, de dos instancias cada una, seis instancias en total. Las solicitudes al endpoint pasan por SageMaker Runtime en un formato compatible con OpenAI.

Qué mostraron las mediciones

Primera prueba: Qwen3-235B-A22B-FP8 con TensorRT-LLM, dos instancias p5en.48xlarge (16 GPU H200) y solicitudes de 4 000 tokens de entrada y 200 de salida. Solo se contabilizaron los modos en los que el P90 del tiempo hasta el primer token era inferior a un segundo y la velocidad mediana de generación no bajaba de 50 tokens por segundo por usuario. El mejor resultado desagregado fue de 207 tokens por segundo por GPU con una concurrencia de 80; el mejor en modo habitual, 101 con una concurrencia de 32.

La segunda prueba comprobaba si la comunicación entre nodos penaliza el rendimiento. Qwen3.5-397B-A17B-FP8 con vLLM, TP4 × PP2, se ejecutó en una instancia con ocho GPU y en dos instancias con cuatro GPU cada una. Con una carga agéntica con repetición frecuente de prefijos y una concurrencia de 32, el esquema de dos nodos dio 126,4 tokens por segundo por GPU, el 99,1% del resultado de un solo nodo. Este modelo cabe en una instancia, así que en la práctica no conviene dividirlo. La prueba sirvió como control: cruzar la frontera entre nodos apenas tiene coste.

Qué hacer con esto

Las cifras proceden de AWS y NVIDIA, se midieron con dos modelos y perfiles de tráfico concretos, por lo que el 2,05× no debe extrapolarse a tu propio sistema. Lo razonable es probar el modo desagregado con prompts largos y límites de latencia estrictos.

Las recomendaciones de los autores son prácticas. Toma la receta de Dynamo para tu modelo, tu motor y tu GPU. Antes de medir, comprueba que la KV-cache entre workers viaja realmente por EFA. Ejecuta AIPerf con tráfico real y distintos niveles de concurrencia, y quédate con los puntos que cumplan tus SLA. Empieza la puesta a punto por la topología y la distribución de los workers, y solo después pasa a los parámetros del motor, cambiando una variable cada vez.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué hace exactamente Dynamo?

Primero: separa el trabajo en dos fases. En el prefill, el modelo «lee» el prompt; en el decode, genera los tokens de la respuesta uno a uno. Las fases cargan el hardware de forma distinta y, cuando comparten las mismas GPU, un prompt largo frena la generación de otras solicitudes. Dynamo asigna a cada fase su propio pool de workers, y ambos pueden escalarse de forma independiente. La KV-cache viaja entre los pools por la red rápida EFA. Segundo: ejecución multinodo.

¿Qué se sabe sobre Dos formas de desplegarlo?

Si ya trabajas con Dynamo, puedes traer tu propio DynamoGraphDeployment (DGD). La documentación y las recetas siguen siendo las mismas, pero el almacenamiento, la red, la colocación de pods y el autoescalado los configuras tú. Si usas HyperPod Inference, basta con un InferenceEndpointConfig (IEC) con la sección dynamoSpec. El operador descarga los pesos desde S3 o FSx, levanta un endpoint con TLS y conecta el autoescalado mediante KEDA. La configuración es corta.

¿Qué se sabe sobre Qué mostraron las mediciones?

Primera prueba: Qwen3-235B-A22B-FP8 con TensorRT-LLM, dos instancias p5en.48xlarge (16 GPU H200) y solicitudes de 4 000 tokens de entrada y 200 de salida. Solo se contabilizaron los modos en los que el P90 del tiempo hasta el primer token era inferior a un segundo y la velocidad mediana de generación no bajaba de 50 tokens por segundo por usuario. El mejor resultado desagregado fue de 207 tokens por segundo por GPU con una concurrencia de 80; el mejor en modo habitual, 101 con una concurrencia de 32.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…