Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarAWS Machine Learning Blog→ original

Ne pas deviner le seuil d'autoscaling de la synthèse vocale : AWS mesure le plafond de 50 requêtes par GPU

Le seuil d'autoscaling d'un service de synthèse vocale (TTS) est souvent choisi à l'œil, et l'erreur n'apparaît qu'aux heures de pointe : la file d'attente s'allonge et la réponse dépasse les 3 secondes promises. AWS a mesuré sur le modèle Kokoro-82M deux chiffres : un plafond de 50 requêtes simultanées par instance GPU et environ 320 secondes avant qu'une nouvelle instance accepte le trafic. À 60 requêtes, la latence du premier son (p95) atteint déjà 3375 ms, au-delà de la limite. Il vaut donc mieux calculer les seuils à partir de mesures.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Ne pas deviner le seuil d'autoscaling de la synthèse vocale : AWS mesure le plafond de 50 requêtes par GPU
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Limite (SLO)premier son en 3000 ms pour 95 % des requêtes ; à 50 requêtes, 2806 ms
Chiffre clé #2La phase la plus longue (181 s, 56,5 % du temps) correspond à l'apparition de la nouvelle instance dans les journaux
Chiffre clé #3Les chiffres ont été obtenus sur ml.g5.xlarge : pour un autre modèle, il faut refaire les mesures

Imaginez : un pic d'appels frappe votre service de synthèse vocale (TTS, text-to-speech). Les requêtes s'accumulent dans la file, et le premier son arrive plus tard que vous ne l'avez promis à vos clients, c'est-à-dire au-delà du SLO (niveau de latence convenu). L'autoscaling, censé ajouter des serveurs, avait été configuré avec un seuil choisi à l'œil.

Une telle supposition se trompe en silence : un seuil trop prudent signifie des instances GPU qui tournent à vide et pèsent sur chaque facture, un seuil trop audacieux crée un risque que personne ne voit avant le premier vrai pic. L'équipe AWS, dans le blog Machine Learning, propose de remplacer la supposition par deux mesures effectuées sur un point de terminaison en production.

Quels sont les deux chiffres à mesurer

L'exemple repose sur le modèle Kokoro-82M (82 millions de paramètres), déployé dans un conteneur propre sur un point de terminaison temps réel d'Amazon SageMaker AI, via AWS CDK. Le premier chiffre s'appelle Q_max : c'est le nombre maximal de requêtes simultanées, en file d'attente ou en cours d'exécution sur une même instance, pour lequel 95 % des requêtes reçoivent encore le premier octet audio dans le SLO de 3000 ms. Le second, T_total, correspond au temps réel écoulé entre la demande d'une nouvelle capacité et le moment où elle traite le trafic sans incident.

Les seuils de montée et de descente en charge, ainsi que les deux temps de pause (cooldown), sont ensuite déduits de ces deux chiffres par calcul.

Q_max a été recherché à l'aide d'une échelle de charge : le client maintient exactement N requêtes simultanées et augmente N par paliers, jusqu'à ce que le SLO cède. Résultats pour le p95 (temps jusqu'au premier octet audio) : 1 requête — 65,4 ms, 10 — 568,5 ms, 30 — 1689,8 ms, 50 — 2805,7 ms. À 60 requêtes, on atteint déjà 3374,8 ms, soit un dépassement de la limite.

Q_max vaut donc 50, et il s'agit bien d'un plafond réel et non d'une estimation basse : le palier supérieur a effectivement fait céder le SLO. Le test est en boucle fermée, c'est-à-dire que le nombre de requêtes ne baisse pas lorsque le serveur ralentit, si bien que la file d'attente ne se cache pas. Une exécution réelle prend environ 36 minutes, tandis que le mode --dry-run affiche le plan sans appeler AWS.

Pourquoi les métriques standard ne conviennent pas

La plupart des guides d'autoscaling supposent des requêtes synchrones courtes, ou des LLM dont la métrique pratique est le nombre de tokens par seconde. Kokoro-82M n'a pas de boucle de génération de tokens : le modèle produit une phrase en une seule passe, et une requête occupe la connexion pendant plusieurs secondes. On s'appuie donc sur ConcurrentRequestsPerModel, une métrique que SageMaker publie lui-même. On évite ainsi le scénario où une métrique personnalisée est configurée sur le papier mais ne reçoit jamais de données.

Il existe toutefois une subtilité : SageMaker fournit un maximum sur une fenêtre de 10 secondes, alors que le client de benchmark observe le nombre moyen de requêtes en cours. L'outil mesure les deux grandeurs à chaque palier et calcule un coefficient de conversion. Dans cette exécution, il vaut exactement 1,0, si bien que les seuils coïncident sans correction.

De combien le parc grandit-il réellement

T_total a été mesuré en déclenchant un scale-out forcé, en contournant la politique, et en notant le temps de chaque étape. La phase la plus longue, 180,8 secondes (56,5 % du temps total), court de la définition de la capacité souhaitée jusqu'à l'apparition de l'instance dans les journaux. Viennent ensuite 47,4 secondes (14,8 %) pour rétablir le trafic après la mise en service, 30 secondes (9,4 %) pour la requête de capacité elle-même, et 20,7 secondes (6,5 %) pour la transition vers l'état in_service.

Le chargement des poids prend 6,5 secondes, et le préchauffage une seconde. Au total, la montée en charge dure environ 320 secondes. Conclusion pratique : pour accélérer le démarrage, il faut agir sur ce qui se passe avant le lancement du conteneur, par exemple en plaçant les poids dans un cache S3 ou en gardant une réserve tiède, plutôt qu'en optimisant le modèle.

Avant les mesures, l'outil lance une vérification de dérive : il compare les politiques et alarmes déployées à la configuration, sinon une politique oubliée d'un ancien modèle pourrait modifier la capacité en pleine campagne de tests. Si l'exécution est interrompue, l'autoscaling peut rester bloqué sur une seule instance, et la commande thaw rétablit la politique. La ressource d'autoscaling n'est créée par la pile CDK qu'en présence d'un véritable plan de mesures, si bien qu'une configuration non mesurée ne passe pas en production sans qu'on le remarque. Une alarme distincte est liée au temps de traitement sans file d'attente : pendant les mesures, il s'élève en moyenne à 61,3 ms, avec un p95 à 66,1 ms.

Limites

Les chiffres ont été obtenus sur un seul modèle et une seule instance ml.g5.xlarge ; pour votre voix, votre image et votre matériel, Q_max et T_total devront être mesurés à nouveau. La mesure exige une marge de quota d'au moins une instance supplémentaire. Le conteneur de l'exemple utilise une ancienne version de PyTorch affectée par une vulnérabilité connue (PYSEC-2026-2286, corrigée dans torch 2.10.0) : mettez-la à jour avant toute utilisation en dehors d'un essai. Le code et la chaîne de commandes se trouvent dans le dépôt aws-samples. L'approche convient à d'autres modèles aux requêtes longues et sans boucle de tokens.

Dossier

Questions clés sur cet article

Que sait-on sur Quels sont les deux chiffres à mesurer ?

L'exemple repose sur le modèle Kokoro-82M (82 millions de paramètres), déployé dans un conteneur propre sur un point de terminaison temps réel d'Amazon SageMaker AI, via AWS CDK. Le premier chiffre s'appelle Q_max : c'est le nombre maximal de requêtes simultanées, en file d'attente ou en cours d'exécution sur une même instance, pour lequel 95 % des requêtes reçoivent encore le premier octet audio dans le SLO de 3000 ms.

Pourquoi les métriques standard ne conviennent pas?

La plupart des guides d'autoscaling supposent des requêtes synchrones courtes, ou des LLM dont la métrique pratique est le nombre de tokens par seconde. Kokoro-82M n'a pas de boucle de génération de tokens : le modèle produit une phrase en une seule passe, et une requête occupe la connexion pendant plusieurs secondes. On s'appuie donc sur ConcurrentRequestsPerModel, une métrique que SageMaker publie lui-même.

Que sait-on sur De combien le parc grandit-il réellement ?

T_total a été mesuré en déclenchant un scale-out forcé, en contournant la politique, et en notant le temps de chaque étape. La phase la plus longue, 180,8 secondes (56,5 % du temps total), court de la définition de la capacité souhaitée jusqu'à l'apparition de l'instance dans les journaux. Viennent ensuite 47,4 secondes (14,8 %) pour rétablir le trafic après la mise en service, 30 secondes (9,4 %) pour la requête de capacité elle-même, et 20,7 secondes (6,5 %) pour la transition vers l'état in_service.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…