Cómo no adivinar el umbral de autoescalado en la síntesis de voz: AWS midió un techo de 50 solicitudes por GPU
El umbral de autoescalado de un servicio de síntesis de voz (TTS) suele elegirse a ojo, y el error solo se ve en los picos: la cola crece y la respuesta tarda más de los 3 segundos prometidos. AWS midió dos cifras con el modelo Kokoro-82M: un techo de 50 solicitudes simultáneas por instancia de GPU y unos 320 segundos hasta que la nueva instancia empieza a recibir tráfico. Con 60 solicitudes, la latencia del primer sonido (p95) ya alcanzó 3375 ms, por encima del límite. Por eso, es mejor calcular los umbrales a partir de mediciones.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Imagine que su servicio de síntesis de voz (TTS, text-to-speech) recibe un pico de llamadas. Las solicitudes se acumulan en la cola y el primer sonido llega más tarde de lo que prometió a sus clientes, es decir, se sale del SLO (límite de latencia acordado). El autoescalado, que debería añadir servidores, se configuró con un umbral elegido a ojo. Esa suposición falla en silencio: un umbral demasiado conservador significa instancias de GPU que están ociosas y aparecen en cada factura; uno demasiado audaz supone un riesgo que nadie ve hasta el primer pico real. El equipo de AWS, en el blog de Machine Learning, propone sustituir la suposición por dos mediciones en un endpoint en funcionamiento.
Qué dos cifras hay que medir
El ejemplo se basa en el modelo Kokoro-82M (82 millones de parámetros), que se despliega en un contenedor propio sobre un endpoint en tiempo real de Amazon SageMaker AI mediante AWS CDK. La primera cifra se llama Q_max: es el mayor número de solicitudes que, estando en cola o ejecutándose a la vez en una misma instancia, permite que el 95% de ellas siga recibiendo el primer byte de audio dentro del SLO de 3000 ms. La segunda es T_total: el tiempo real que transcurre desde que se solicita una nueva capacidad hasta que la atiende sin fallos.
Los umbrales de escalado hacia arriba y hacia abajo, así como ambas pausas (cooldown), se derivan después de estas dos cifras mediante aritmética.
Q_max se buscó con una escalera de carga: el cliente mantiene exactamente N solicitudes simultáneas y aumenta N por escalones hasta que el SLO se rompe. Los resultados para p95 (tiempo hasta el primer byte de audio) fueron: 1 solicitud, 65,4 ms; 10, 568,5 ms; 30, 1689,8 ms; 50, 2805,7 ms. Con 60 solicitudes ya son 3374,8 ms, es decir, se supera el límite.
Por tanto, Q_max = 50, y se trata del techo real, no de una estimación inferior: el escalón superior sí rompió el SLO. La prueba es cerrada, es decir, el número de solicitudes no baja cuando el servidor se ralentiza, de modo que la cola no queda oculta. Una ejecución real dura unos 36 minutos, mientras que el modo --dry-run muestra el calendario sin hacer llamadas a AWS.
Por qué las métricas estándar no sirven
La mayoría de las guías de autoescalado están pensadas para solicitudes síncronas cortas o para LLM, donde la métrica habitual son los tokens por segundo. Kokoro-82M no tiene un bucle de generación de tokens: el modelo produce una frase en una sola pasada, y cada solicitud mantiene la conexión abierta durante varios segundos. Por eso el escalado se basa en ConcurrentRequestsPerModel, una métrica que SageMaker publica por sí mismo. Así se evita el escenario en el que una métrica personalizada está configurada sobre el papel, pero los datos nunca llegan a ella.
Hay un matiz: SageMaker informa del máximo dentro de una ventana de 10 segundos, mientras que el cliente del benchmark ve el promedio de solicitudes en curso. La herramienta mide ambas magnitudes en cada escalón y calcula un coeficiente de conversión. En esta ejecución resultó exactamente 1,0, así que los umbrales coinciden sin correcciones.
Cuánto crece realmente el parque
T_total se midió forzando un scale-out al margen de la política y anotando el tiempo de cada etapa. La fase más larga, 180,8 segundos (56,5% del tiempo total), transcurre desde que se fija la capacidad deseada hasta que la instancia aparece en los registros. Otros 47,4 segundos (14,8%) se van en restablecer el tráfico tras la puesta en servicio, 30 segundos (9,4%) en la propia solicitud de capacidad y 20,7 segundos (6,5%) en la transición a in_service.
La carga de pesos dura 6,5 segundos y el calentamiento, 1 segundo. En total, el escalado lleva unos 320 segundos. La conclusión práctica: para acelerar el arranque conviene actuar sobre lo que ocurre antes de iniciar el contenedor, por ejemplo con los pesos en una caché de S3 o con una reserva de capacidad caliente, y no tanto optimizando el modelo.
Antes de las mediciones, la herramienta ejecuta una comprobación de drift: contrasta las políticas y alarmas desplegadas con la configuración, porque una política olvidada de un modelo anterior podría cambiar la capacidad en plena prueba. Si la ejecución se interrumpe, el autoescalado puede quedarse bloqueado en una sola instancia, y el comando thaw devuelve la política a su estado normal. Los recursos de autoescalado del stack de CDK solo se crean si existe un plan de mediciones real, de modo que una configuración no medida no llega en silencio a producción. Una alarma específica se vincula al tiempo de procesamiento sin cola: en las mediciones fue de 61,3 ms de media y 66,1 ms en p95.
Limitaciones
Las cifras se obtuvieron con un solo modelo y una instancia ml.g5.xlarge; para su voz, su imagen y su hardware, Q_max y T_total habrá que medirlos de nuevo. La medición requiere cuota suficiente para al menos una instancia adicional. El contenedor del ejemplo usa una versión antigua de PyTorch con una vulnerabilidad conocida (PYSEC-2026-2286, corregida en torch 2.10.0), así que actualícela antes de usarlo fuera de una prueba. El código y la secuencia de comandos están en el repositorio aws-samples. El enfoque también sirve para otros modelos con solicitudes largas y sin bucle de tokens.
- 21 nov 2026AG-UI 1.0 le da a los agentes de IA un lenguaje común para comunicarse con la aplicación: 31 tipos de eventos
- 21 nov 2026OpenAI lanza ChatGPT Wallet: los agentes compran sin ver el número de la tarjeta
- 21 nov 2026Los anunciantes estadounidenses gastaron 70,7 millones de dólares en publicidad en ChatGPT en octubre, un 127 % más que en abril
- 21 nov 2026ONNX Runtime desaparece de GitHub: Microsoft oculta los repositorios tras el ataque a un paquete
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué dos cifras hay que medir?
El ejemplo se basa en el modelo Kokoro-82M (82 millones de parámetros), que se despliega en un contenedor propio sobre un endpoint en tiempo real de Amazon SageMaker AI mediante AWS CDK. La primera cifra se llama Q_max: es el mayor número de solicitudes que, estando en cola o ejecutándose a la vez en una misma instancia, permite que el 95% de ellas siga recibiendo el primer byte de audio dentro del SLO de 3000 ms.
¿Qué se sabe sobre Por qué las métricas estándar no sirven?
La mayoría de las guías de autoescalado están pensadas para solicitudes síncronas cortas o para LLM, donde la métrica habitual son los tokens por segundo. Kokoro-82M no tiene un bucle de generación de tokens: el modelo produce una frase en una sola pasada, y cada solicitud mantiene la conexión abierta durante varios segundos. Por eso el escalado se basa en ConcurrentRequestsPerModel, una métrica que SageMaker publica por sí mismo.
¿Qué se sabe sobre Cuánto crece realmente el parque?
T_total se midió forzando un scale-out al margen de la política y anotando el tiempo de cada etapa. La fase más larga, 180,8 segundos (56,5% del tiempo total), transcurre desde que se fija la capacidad deseada hasta que la instancia aparece en los registros. Otros 47,4 segundos (14,8%) se van en restablecer el tráfico tras la puesta en servicio, 30 segundos (9,4%) en la propia solicitud de capacidad y 20,7 segundos (6,5%) en la transición a in_service.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.