Amazon SageMaker HyperPod empieza a guardar en S3 las peticiones reales a LLM en tres niveles
Un modelo en producción se encuentra con lo que no estaba en las pruebas: productos nuevos y jerga. Amazon SageMaker HyperPod (servicio de AWS para modelos en clústeres de GPU) ahora guarda las peticiones y respuestas en vivo en S3 en tres niveles: endpoint, balanceador y pod del modelo. En la demo, el enrutador de tickets no conocía los nuevos aires acondicionados; el hueco se localizó en Athena y se cerró con reentrenamiento. Por eso conviene activar la grabación del tráfico antes de la primera deriva.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Imagine un bot de soporte técnico de una tienda de electrodomésticos. Ayer clasificaba perfectamente las consultas sobre frigoríficos y lavadoras, pero hoy la tienda lanzó aires acondicionados y el bot no sabe qué hacer con ellos. Las pruebas preparadas de antemano no lo mostrarán, porque se hicieron antes del lanzamiento del nuevo producto.
El problema solo puede verse en las peticiones reales de los usuarios, y hay que guardarlas en algún lugar. Para ello, AWS ha añadido a Amazon SageMaker HyperPod la función Data Capture. HyperPod es el servicio de AWS para ejecutar y reentrenar modelos en clústeres de GPU.
Data Capture registra las peticiones entrantes y las respuestas del modelo en funcionamiento en S3, es decir, en el almacenamiento en la nube de Amazon. Según AWS, la latencia es mínima y la disponibilidad del modelo no se ve afectada.
Tres niveles de registro: qué se guarda exactamente
La función se activa con el bloque dataCapture en la configuración. Se puede registrar en tres puntos independientes de la ruta de la petición, y cualquiera de ellos puede combinarse con los demás.
El primer nivel es el endpoint de SageMaker, es decir, el punto de entrada del modelo. Aquí se guardan las peticiones y respuestas completas mediante el mecanismo integrado de SageMaker. Sirve para cumplimiento normativo, auditoría y el servicio Model Monitor.
El segundo nivel es el balanceador de carga ALB. Solo escribe los campos de los logs de acceso: la cadena de la consulta, los códigos de respuesta, los tiempos, la IP del cliente y el user agent. No contiene el texto de las conversaciones. Sin embargo, es una forma económica de vigilar el tráfico y la proporción de errores.
El tercer nivel es el pod del modelo, un grupo de contenedores en Kubernetes. El operador de inferencia de HyperPod añade a este pod tres contenedores auxiliares: un proxy NGINX, un colector de OpenTelemetry y un cargador a S3. En el bucket se almacenan las peticiones y respuestas completas, junto con los metadatos de los eventos. Este nivel se elige para depuración, analítica y recopilación de datos de entrenamiento.
Advertencia importante: los niveles 1 y 3 guardan ambos los textos completos. Si se activan los dos, cada registro acabará en S3 por duplicado. Por eso AWS recomienda elegir el nivel según la tarea: el primero para cumplimiento normativo, el segundo para métricas de tráfico y el tercero para trabajar con el contenido.
Cómo funciona en el ejemplo de un enrutador de tickets
El escenario del artículo es ficticio y los datos son sintéticos. El modelo Qwen2.5-3B-Instruct actúa como enrutador de tickets: asigna cada consulta a una de las categorías nevera, lavadora, horno, lavavajillas, microondas u «Otro». Después, la tienda lanza la línea de aires acondicionados Arctis, el enrutador no la conoce y asigna la categoría familiar más cercana.
A continuación, una cadena de cinco pasos en un mismo clúster, que AWS llama el «volante» de mejora del modelo:
- Guardar todas las peticiones y respuestas en S3.
- Analizar los registros con consultas SQL en Athena, el servicio que lee los archivos directamente desde S3.
- Etiquetar los registros con una política SQL.
- Reentrenar el modelo en una segunda GPU mediante el training operator.
- Desplegar la nueva versión junto a la anterior, manteniendo la grabación activa.
En la demo, se envían 900 tickets a través del enrutador en 15 minutos. El conjunto de evaluación consta de 280 ejemplos etiquetados. La precisión se mide antes y después del reentrenamiento con datos que, en el momento del primer despliegue, no podían existir.
Para la demo se necesitan dos GPU: una sirve el modelo y la otra lo reentrena. Los autores usaron ml.g6e.8xlarge y ml.g6e.xlarge, cada uno con una NVIDIA L40S de 48 GB. El pod de servicio ocupa su GPU durante toda la vida del endpoint. Por eso, con una única GPU, el pod de entrenamiento se queda en estado Pending.
Qué tener en cuenta al implantarlo
- Las peticiones deben enviarse al puerto 8081, donde está el proxy de registro. El propio modelo escucha en el puerto 8000, y las llamadas directas a ese puerto no llegarán a S3.
- Por defecto se registra el 100 % de las peticiones. Esto puede reducirse mediante muestreo, limitar el tamaño del payload y definir una clave de cifrado KMS. El búfer por defecto, de 10 registros, se vacía cada 60 segundos.
- Si el endpoint está sano pero no aparecen archivos en S3, compruebe primero el rol IAM del driver Mountpoint-S3 CSI. Los archivos los escribe ese driver, no la cuenta de servicio del pod.
- Los cuerpos de las peticiones y respuestas se guardan en el formato de data capture de SageMaker, codificados en base64. Antes de analizarlos hay que decodificarlos.
Privacidad y limitaciones
El tercer nivel guarda textos completos, que contienen nombres, direcciones y números de pedido. Antes de convertir los registros en datos de entrenamiento, protéjalos. AWS propone el muestreo, el cifrado mediante KMS (servicio de gestión de claves), las reglas de ciclo de vida de S3 y el enmascaramiento de datos personales, por ejemplo con Amazon Comprehend.
El ejemplo en sí se basa en datos sintéticos y en un modelo pequeño de 3 000 millones de parámetros. Con tráfico real y modelos grandes, el resultado dependerá de la calidad del etiquetado y del volumen de datos.
Conclusión práctica para los equipos que usan HyperPod: conviene activar la grabación del tráfico con antelación. Cuando los usuarios traigan algo nuevo, tendrá de inmediato la prueba del problema y el material para reentrenar.
- 21 nov 2026AG-UI 1.0 le da a los agentes de IA un lenguaje común para comunicarse con la aplicación: 31 tipos de eventos
- 21 nov 2026OpenAI lanza ChatGPT Wallet: los agentes compran sin ver el número de la tarjeta
- 21 nov 2026Los anunciantes estadounidenses gastaron 70,7 millones de dólares en publicidad en ChatGPT en octubre, un 127 % más que en abril
- 21 nov 2026ONNX Runtime desaparece de GitHub: Microsoft oculta los repositorios tras el ataque a un paquete
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Tres niveles de registro: qué se guarda exactamente?
La función se activa con el bloque dataCapture en la configuración. Se puede registrar en tres puntos independientes de la ruta de la petición, y cualquiera de ellos puede combinarse con los demás. El primer nivel es el endpoint de SageMaker, es decir, el punto de entrada del modelo. Aquí se guardan las peticiones y respuestas completas mediante el mecanismo integrado de SageMaker. Sirve para cumplimiento normativo, auditoría y el servicio Model Monitor. El segundo nivel es el balanceador de carga ALB.
Cómo funciona en el ejemplo de un enrutador de tickets?
El escenario del artículo es ficticio y los datos son sintéticos. El modelo Qwen2.5-3B-Instruct actúa como enrutador de tickets: asigna cada consulta a una de las categorías nevera, lavadora, horno, lavavajillas, microondas u «Otro». Después, la tienda lanza la línea de aires acondicionados Arctis, el enrutador no la conoce y asigna la categoría familiar más cercana.
¿Qué se sabe sobre Qué tener en cuenta al implantarlo?
Las peticiones deben enviarse al puerto 8081, donde está el proxy de registro. El propio modelo escucha en el puerto 8000, y las llamadas directas a ese puerto no llegarán a S3. Por defecto se registra el 100 % de las peticiones. Esto puede reducirse mediante muestreo, limitar el tamaño del payload y definir una clave de cifrado KMS. El búfer por defecto, de 10 registros, se vacía cada 60 segundos. Si el endpoint está sano pero no aparecen archivos en S3, compruebe primero el rol IAM del driver Mountpoint-S3 CSI.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.