Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarAWS Machine Learning Blog→ original

Cómo no adivinar el umbral de autoescalado en la síntesis de voz: AWS midió un techo de 50 solicitudes por GPU

El umbral de autoescalado de un servicio de síntesis de voz (TTS) suele elegirse a ojo, y el error solo se ve en los picos: la cola crece y la respuesta tarda más de los 3 segundos prometidos. AWS midió dos cifras con el modelo Kokoro-82M: un techo de 50 solicitudes simultáneas por instancia de GPU y unos 320 segundos hasta que la nueva instancia empieza a recibir tráfico. Con 60 solicitudes, la latencia del primer sonido (p95) ya alcanzó 3375 ms, por encima del límite. Por eso, es mejor calcular los umbrales a partir de mediciones.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Cómo no adivinar el umbral de autoescalado en la síntesis de voz: AWS midió un techo de 50 solicitudes por GPU
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Límite (SLO)primer sonido en 3000 ms para el 95% de las solicitudes; con 50 solicitudes, 2806 ms
Dato clave #2La mayor parte del tiempo (181 s, 56,5%) la nueva instancia solo aparece en los registros
Las cifras se obtuvieron en ml.g5.xlargepara otro modelo, hay que repetir las mediciones

Imagine que su servicio de síntesis de voz (TTS, text-to-speech) recibe un pico de llamadas. Las solicitudes se acumulan en la cola y el primer sonido llega más tarde de lo que prometió a sus clientes, es decir, se sale del SLO (límite de latencia acordado). El autoescalado, que debería añadir servidores, se configuró con un umbral elegido a ojo. Esa suposición falla en silencio: un umbral demasiado conservador significa instancias de GPU que están ociosas y aparecen en cada factura; uno demasiado audaz supone un riesgo que nadie ve hasta el primer pico real. El equipo de AWS, en el blog de Machine Learning, propone sustituir la suposición por dos mediciones en un endpoint en funcionamiento.

Qué dos cifras hay que medir

El ejemplo se basa en el modelo Kokoro-82M (82 millones de parámetros), que se despliega en un contenedor propio sobre un endpoint en tiempo real de Amazon SageMaker AI mediante AWS CDK. La primera cifra se llama Q_max: es el mayor número de solicitudes que, estando en cola o ejecutándose a la vez en una misma instancia, permite que el 95% de ellas siga recibiendo el primer byte de audio dentro del SLO de 3000 ms. La segunda es T_total: el tiempo real que transcurre desde que se solicita una nueva capacidad hasta que la atiende sin fallos.

Los umbrales de escalado hacia arriba y hacia abajo, así como ambas pausas (cooldown), se derivan después de estas dos cifras mediante aritmética.

Q_max se buscó con una escalera de carga: el cliente mantiene exactamente N solicitudes simultáneas y aumenta N por escalones hasta que el SLO se rompe. Los resultados para p95 (tiempo hasta el primer byte de audio) fueron: 1 solicitud, 65,4 ms; 10, 568,5 ms; 30, 1689,8 ms; 50, 2805,7 ms. Con 60 solicitudes ya son 3374,8 ms, es decir, se supera el límite.

Por tanto, Q_max = 50, y se trata del techo real, no de una estimación inferior: el escalón superior sí rompió el SLO. La prueba es cerrada, es decir, el número de solicitudes no baja cuando el servidor se ralentiza, de modo que la cola no queda oculta. Una ejecución real dura unos 36 minutos, mientras que el modo --dry-run muestra el calendario sin hacer llamadas a AWS.

Por qué las métricas estándar no sirven

La mayoría de las guías de autoescalado están pensadas para solicitudes síncronas cortas o para LLM, donde la métrica habitual son los tokens por segundo. Kokoro-82M no tiene un bucle de generación de tokens: el modelo produce una frase en una sola pasada, y cada solicitud mantiene la conexión abierta durante varios segundos. Por eso el escalado se basa en ConcurrentRequestsPerModel, una métrica que SageMaker publica por sí mismo. Así se evita el escenario en el que una métrica personalizada está configurada sobre el papel, pero los datos nunca llegan a ella.

Hay un matiz: SageMaker informa del máximo dentro de una ventana de 10 segundos, mientras que el cliente del benchmark ve el promedio de solicitudes en curso. La herramienta mide ambas magnitudes en cada escalón y calcula un coeficiente de conversión. En esta ejecución resultó exactamente 1,0, así que los umbrales coinciden sin correcciones.

Cuánto crece realmente el parque

T_total se midió forzando un scale-out al margen de la política y anotando el tiempo de cada etapa. La fase más larga, 180,8 segundos (56,5% del tiempo total), transcurre desde que se fija la capacidad deseada hasta que la instancia aparece en los registros. Otros 47,4 segundos (14,8%) se van en restablecer el tráfico tras la puesta en servicio, 30 segundos (9,4%) en la propia solicitud de capacidad y 20,7 segundos (6,5%) en la transición a in_service.

La carga de pesos dura 6,5 segundos y el calentamiento, 1 segundo. En total, el escalado lleva unos 320 segundos. La conclusión práctica: para acelerar el arranque conviene actuar sobre lo que ocurre antes de iniciar el contenedor, por ejemplo con los pesos en una caché de S3 o con una reserva de capacidad caliente, y no tanto optimizando el modelo.

Antes de las mediciones, la herramienta ejecuta una comprobación de drift: contrasta las políticas y alarmas desplegadas con la configuración, porque una política olvidada de un modelo anterior podría cambiar la capacidad en plena prueba. Si la ejecución se interrumpe, el autoescalado puede quedarse bloqueado en una sola instancia, y el comando thaw devuelve la política a su estado normal. Los recursos de autoescalado del stack de CDK solo se crean si existe un plan de mediciones real, de modo que una configuración no medida no llega en silencio a producción. Una alarma específica se vincula al tiempo de procesamiento sin cola: en las mediciones fue de 61,3 ms de media y 66,1 ms en p95.

Limitaciones

Las cifras se obtuvieron con un solo modelo y una instancia ml.g5.xlarge; para su voz, su imagen y su hardware, Q_max y T_total habrá que medirlos de nuevo. La medición requiere cuota suficiente para al menos una instancia adicional. El contenedor del ejemplo usa una versión antigua de PyTorch con una vulnerabilidad conocida (PYSEC-2026-2286, corregida en torch 2.10.0), así que actualícela antes de usarlo fuera de una prueba. El código y la secuencia de comandos están en el repositorio aws-samples. El enfoque también sirve para otros modelos con solicitudes largas y sin bucle de tokens.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué dos cifras hay que medir?

El ejemplo se basa en el modelo Kokoro-82M (82 millones de parámetros), que se despliega en un contenedor propio sobre un endpoint en tiempo real de Amazon SageMaker AI mediante AWS CDK. La primera cifra se llama Q_max: es el mayor número de solicitudes que, estando en cola o ejecutándose a la vez en una misma instancia, permite que el 95% de ellas siga recibiendo el primer byte de audio dentro del SLO de 3000 ms.

¿Qué se sabe sobre Por qué las métricas estándar no sirven?

La mayoría de las guías de autoescalado están pensadas para solicitudes síncronas cortas o para LLM, donde la métrica habitual son los tokens por segundo. Kokoro-82M no tiene un bucle de generación de tokens: el modelo produce una frase en una sola pasada, y cada solicitud mantiene la conexión abierta durante varios segundos. Por eso el escalado se basa en ConcurrentRequestsPerModel, una métrica que SageMaker publica por sí mismo.

¿Qué se sabe sobre Cuánto crece realmente el parque?

T_total se midió forzando un scale-out al margen de la política y anotando el tiempo de cada etapa. La fase más larga, 180,8 segundos (56,5% del tiempo total), transcurre desde que se fija la capacidad deseada hasta que la instancia aparece en los registros. Otros 47,4 segundos (14,8%) se van en restablecer el tráfico tras la puesta en servicio, 30 segundos (9,4%) en la propia solicitud de capacidad y 20,7 segundos (6,5%) en la transición a in_service.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…