Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAPI / Producto · Listo para usarAWS Machine Learning Blog→ original

Amazon SageMaker detecta por sí sola GPU ociosas y aumentos de latencia en endpoints de LLM

Un endpoint de LLM en producción se «desvía» con el tiempo: los prompts crecen, las GPU quedan ociosas y no salta ninguna alarma, porque nada se ha roto. Amazon SageMaker AI ahora supervisa por defecto los endpoints sobre vLLM y GPU, y envía una notificación a través de AWS Health. El servicio compara la latencia mediana y el tiempo hasta el primer token con los de la semana anterior, y busca GPU infrautilizadas. Después, un clic lanza un benchmark de alternativas. El entorno de producción no cambia sin que usted lo decida.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Amazon SageMaker detecta por sí sola GPU ociosas y aumentos de latencia en endpoints de LLM
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1La monitorización está activada por defecto y no consume GPU
Dato clave #2Solo lee la latencia y la carga de las GPU, no las solicitudes ni las respuestas
Dato clave #3Se desactiva con la variable OPT_OUT_TRACKING en el contenedor del modelo

Un endpoint con un LLM está perfectamente ajustado exactamente el día del lanzamiento. El equipo elige el tipo de instancia, los parámetros de serving y el autoscaling para el tráfico de ese momento, y después pasa a otras tareas. Pero el tráfico cambia, los prompts se alargan, vLLM publica nuevas versiones y aparecen nuevos checkpoints afinados. El endpoint se «desvía» sin hacer ruido: el tiempo hasta el primer token aumenta, parte de las optimizaciones nunca se activa y una GPU cara pasa semanas ociosa. Nada falla, las alertas callan y el problema lo detectan los usuarios o el departamento de finanzas. Amazon SageMaker AI ha decidido cerrar esa brecha.

Qué se monitoriza ahora

La monitorización está activada por defecto para los endpoints de SageMaker AI que funcionan con contenedores vLLM e instancias con GPU. No hace falta configurar nada. El servicio solo observa señales operativas: la latencia, la carga de las GPU y la configuración de serving. No lee el contenido de las solicitudes ni de las respuestas, y la monitorización no genera costes adicionales de GPU.

Hay tres tipos de hallazgos:

  • Deriva de latencia. La latencia mediana (p50) de extremo a extremo o el tiempo hasta el primer token han aumentado respecto a la semana pasada. La comparación se hace con el historial del propio endpoint, así que no hay que definir ningún umbral.
  • Capacidad sin usar. Las GPU por las que se paga apenas tienen carga. En el ejemplo de AWS, la GPU más ocupada utilizó como máximo el 12% de su capacidad a lo largo de la semana.
  • Lagunas de configuración. El contenedor se ha quedado atrás respecto a una versión con aceleración y parches de seguridad (CVE críticas y altas). O bien el modelo admite decodificación especulativa o ajuste de kernels de GPU, pero el endpoint no los utiliza.

La notificación llega a través de AWS Health y por correo, una por endpoint, con todos los hallazgos juntos. Explica qué se ha detectado, por qué importa y qué hacer a continuación. Las estimaciones del texto están marcadas como tales: en esta fase todavía no se ha ejecutado ningún benchmark.

De la notificación a la decisión

Un solo clic abre una interfaz con agente en SageMaker Studio, donde el endpoint y su tráfico reciente ya aparecen cargados. El agente resume el hallazgo en palabras sencillas y pide confirmación. Después genera un notebook con el SageMaker Python SDK que crea una tarea de inference recommendation. Cada paso está en una celda independiente, de modo que el código se puede revisar y editar antes de ejecutarlo.

Los benchmarks se ejecutan en capacidad aparte y comparan la configuración actual con las alternativas en tiempo de respuesta, rendimiento (throughput) y coste por millón de tokens. Lo que se prueba depende del hallazgo:

  • ante una deriva de latencia: ajustes de paralelismo tensorial y otros tipos y tamaños de instancia;
  • ante GPU ociosas: instancias más baratas y más pequeñas, según el pico de carga observado;
  • si la decodificación especulativa está desactivada: comparación «con ella» y «sin ella»;
  • si el contenedor está desactualizado: la versión antigua frente a la actualizada.

No se toca producción hasta que usted mismo aplique el resultado. AWS aconseja desplegar el cambio primero en una sola variante (production variant) y conservar la configuración anterior para poder revertir. «Dejarlo como está» también se considera un resultado válido. Por ejemplo, un equipo puede decidir que necesita el margen de GPU para un crecimiento previsto y no reducir la instancia.

Qué hacer con esto

Para los equipos que mantienen LLM en producción sobre SageMaker, es una capa gratuita de control de costes y de calidad. Resulta especialmente útil cuando nadie vigila el endpoint a diario: asistentes internos, autocompletado de código, resúmenes. El ejemplo típico del artículo: tras añadir RAG, los prompts se alargaron, las respuestas empezaron a llegar más despacio y las alertas configuradas a mano no saltaron.

También hay limitaciones. La monitorización solo funciona con contenedores vLLM e instancias con GPU. Las notificaciones están ligadas a la región, por lo que los hallazgos solo se ven al entrar en la región del endpoint, y el número de notificaciones por cuenta es limitado. Los benchmarks se cobran a las tarifas habituales de SageMaker o se descuentan de su reserva de ML, y se necesita cuota suficiente para las instancias de prueba. El resultado también depende del tráfico: en hora punta y fuera de ella, la mejora, por ejemplo la de la decodificación especulativa, puede ser distinta.

Si la telemetría no le convence, puede excluir el endpoint. Para ello, en el mapa Environment de CreateModel se define la variable OPT_OUT_TRACKING con cualquier valor. Entonces el servicio no recopila métricas del motor, métricas de GPU ni datos de la configuración de arranque, y no envía nada.

La conclusión práctica es sencilla. Compruebe qué endpoints suyos quedan cubiertos por la monitorización, configure la recepción de notificaciones en AWS User Notifications e incorpore al proceso una revisión periódica de los hallazgos, por ejemplo una vez al mes.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se monitoriza ahora?

La monitorización está activada por defecto para los endpoints de SageMaker AI que funcionan con contenedores vLLM e instancias con GPU. No hace falta configurar nada. El servicio solo observa señales operativas: la latencia, la carga de las GPU y la configuración de serving. No lee el contenido de las solicitudes ni de las respuestas, y la monitorización no genera costes adicionales de GPU. Hay tres tipos de hallazgos: Deriva de latencia.

¿Qué se sabe sobre De la notificación a la decisión?

Un solo clic abre una interfaz con agente en SageMaker Studio, donde el endpoint y su tráfico reciente ya aparecen cargados. El agente resume el hallazgo en palabras sencillas y pide confirmación. Después genera un notebook con el SageMaker Python SDK que crea una tarea de inference recommendation. Cada paso está en una celda independiente, de modo que el código se puede revisar y editar antes de ejecutarlo.

¿Qué se sabe sobre Qué hacer con esto?

Para los equipos que mantienen LLM en producción sobre SageMaker, es una capa gratuita de control de costes y de calidad. Resulta especialmente útil cuando nadie vigila el endpoint a diario: asistentes internos, autocompletado de código, resúmenes. El ejemplo típico del artículo: tras añadir RAG, los prompts se alargaron, las respuestas empezaron a llegar más despacio y las alertas configuradas a mano no saltaron. También hay limitaciones. La monitorización solo funciona con contenedores vLLM e instancias con GPU.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…