Amazon SageMaker detecta por sí sola GPU ociosas y aumentos de latencia en endpoints de LLM
Un endpoint de LLM en producción se «desvía» con el tiempo: los prompts crecen, las GPU quedan ociosas y no salta ninguna alarma, porque nada se ha roto. Amazon SageMaker AI ahora supervisa por defecto los endpoints sobre vLLM y GPU, y envía una notificación a través de AWS Health. El servicio compara la latencia mediana y el tiempo hasta el primer token con los de la semana anterior, y busca GPU infrautilizadas. Después, un clic lanza un benchmark de alternativas. El entorno de producción no cambia sin que usted lo decida.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Un endpoint con un LLM está perfectamente ajustado exactamente el día del lanzamiento. El equipo elige el tipo de instancia, los parámetros de serving y el autoscaling para el tráfico de ese momento, y después pasa a otras tareas. Pero el tráfico cambia, los prompts se alargan, vLLM publica nuevas versiones y aparecen nuevos checkpoints afinados. El endpoint se «desvía» sin hacer ruido: el tiempo hasta el primer token aumenta, parte de las optimizaciones nunca se activa y una GPU cara pasa semanas ociosa. Nada falla, las alertas callan y el problema lo detectan los usuarios o el departamento de finanzas. Amazon SageMaker AI ha decidido cerrar esa brecha.
Qué se monitoriza ahora
La monitorización está activada por defecto para los endpoints de SageMaker AI que funcionan con contenedores vLLM e instancias con GPU. No hace falta configurar nada. El servicio solo observa señales operativas: la latencia, la carga de las GPU y la configuración de serving. No lee el contenido de las solicitudes ni de las respuestas, y la monitorización no genera costes adicionales de GPU.
Hay tres tipos de hallazgos:
- Deriva de latencia. La latencia mediana (p50) de extremo a extremo o el tiempo hasta el primer token han aumentado respecto a la semana pasada. La comparación se hace con el historial del propio endpoint, así que no hay que definir ningún umbral.
- Capacidad sin usar. Las GPU por las que se paga apenas tienen carga. En el ejemplo de AWS, la GPU más ocupada utilizó como máximo el 12% de su capacidad a lo largo de la semana.
- Lagunas de configuración. El contenedor se ha quedado atrás respecto a una versión con aceleración y parches de seguridad (CVE críticas y altas). O bien el modelo admite decodificación especulativa o ajuste de kernels de GPU, pero el endpoint no los utiliza.
La notificación llega a través de AWS Health y por correo, una por endpoint, con todos los hallazgos juntos. Explica qué se ha detectado, por qué importa y qué hacer a continuación. Las estimaciones del texto están marcadas como tales: en esta fase todavía no se ha ejecutado ningún benchmark.
De la notificación a la decisión
Un solo clic abre una interfaz con agente en SageMaker Studio, donde el endpoint y su tráfico reciente ya aparecen cargados. El agente resume el hallazgo en palabras sencillas y pide confirmación. Después genera un notebook con el SageMaker Python SDK que crea una tarea de inference recommendation. Cada paso está en una celda independiente, de modo que el código se puede revisar y editar antes de ejecutarlo.
Los benchmarks se ejecutan en capacidad aparte y comparan la configuración actual con las alternativas en tiempo de respuesta, rendimiento (throughput) y coste por millón de tokens. Lo que se prueba depende del hallazgo:
- ante una deriva de latencia: ajustes de paralelismo tensorial y otros tipos y tamaños de instancia;
- ante GPU ociosas: instancias más baratas y más pequeñas, según el pico de carga observado;
- si la decodificación especulativa está desactivada: comparación «con ella» y «sin ella»;
- si el contenedor está desactualizado: la versión antigua frente a la actualizada.
No se toca producción hasta que usted mismo aplique el resultado. AWS aconseja desplegar el cambio primero en una sola variante (production variant) y conservar la configuración anterior para poder revertir. «Dejarlo como está» también se considera un resultado válido. Por ejemplo, un equipo puede decidir que necesita el margen de GPU para un crecimiento previsto y no reducir la instancia.
Qué hacer con esto
Para los equipos que mantienen LLM en producción sobre SageMaker, es una capa gratuita de control de costes y de calidad. Resulta especialmente útil cuando nadie vigila el endpoint a diario: asistentes internos, autocompletado de código, resúmenes. El ejemplo típico del artículo: tras añadir RAG, los prompts se alargaron, las respuestas empezaron a llegar más despacio y las alertas configuradas a mano no saltaron.
También hay limitaciones. La monitorización solo funciona con contenedores vLLM e instancias con GPU. Las notificaciones están ligadas a la región, por lo que los hallazgos solo se ven al entrar en la región del endpoint, y el número de notificaciones por cuenta es limitado. Los benchmarks se cobran a las tarifas habituales de SageMaker o se descuentan de su reserva de ML, y se necesita cuota suficiente para las instancias de prueba. El resultado también depende del tráfico: en hora punta y fuera de ella, la mejora, por ejemplo la de la decodificación especulativa, puede ser distinta.
Si la telemetría no le convence, puede excluir el endpoint. Para ello, en el mapa Environment de CreateModel se define la variable OPT_OUT_TRACKING con cualquier valor. Entonces el servicio no recopila métricas del motor, métricas de GPU ni datos de la configuración de arranque, y no envía nada.
La conclusión práctica es sencilla. Compruebe qué endpoints suyos quedan cubiertos por la monitorización, configure la recepción de notificaciones en AWS User Notifications e incorpore al proceso una revisión periódica de los hallazgos, por ejemplo una vez al mes.
- 20 nov 2026Torneo de agentes en Cisco: 1200 ingenieros, y ganó quien escribió 1220 tokens en lugar de 1430
- 20 nov 2026AWS enseña a los agentes de IA a comprar API en Marketplace y pagar con la factura habitual de AWS
- 20 nov 2026BMW lleva las reglas de los agentes de IA de sus 12 500 desarrolladores al CI/CD y a un registro común
- 19 nov 2026Amazon y Google tendrán el 28,4% de Anthropic tras la IPO, pero sin derecho a voto
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se monitoriza ahora?
La monitorización está activada por defecto para los endpoints de SageMaker AI que funcionan con contenedores vLLM e instancias con GPU. No hace falta configurar nada. El servicio solo observa señales operativas: la latencia, la carga de las GPU y la configuración de serving. No lee el contenido de las solicitudes ni de las respuestas, y la monitorización no genera costes adicionales de GPU. Hay tres tipos de hallazgos: Deriva de latencia.
¿Qué se sabe sobre De la notificación a la decisión?
Un solo clic abre una interfaz con agente en SageMaker Studio, donde el endpoint y su tráfico reciente ya aparecen cargados. El agente resume el hallazgo en palabras sencillas y pide confirmación. Después genera un notebook con el SageMaker Python SDK que crea una tarea de inference recommendation. Cada paso está en una celda independiente, de modo que el código se puede revisar y editar antes de ejecutarlo.
¿Qué se sabe sobre Qué hacer con esto?
Para los equipos que mantienen LLM en producción sobre SageMaker, es una capa gratuita de control de costes y de calidad. Resulta especialmente útil cuando nadie vigila el endpoint a diario: asistentes internos, autocompletado de código, resúmenes. El ejemplo típico del artículo: tras añadir RAG, los prompts se alargaron, las respuestas empezaron a llegar más despacio y las alertas configuradas a mano no saltaron. También hay limitaciones. La monitorización solo funciona con contenedores vLLM e instancias con GPU.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.