Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarAWS Machine Learning Blog→ original

Como não chutar o autoscaling de síntese de voz: AWS mediu o teto de 50 requisições por GPU

O limite de autoscaling de um serviço de síntese de voz (TTS) costuma ser escolhido no olho, e o erro só aparece no pico: a fila cresce e a resposta demora mais do que os 3 segundos prometidos. A AWS mediu, no modelo Kokoro-82M, dois números: o teto de 50 requisições simultâneas por instância com GPU e cerca de 320 segundos até que a nova instância comece a receber tráfego. Com 60 requisições, a latência do primeiro áudio (p95) já chegou a 3375 ms, acima do limite. Por isso, é melhor calcular os limites com base em medições.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Como não chutar o autoscaling de síntese de voz: AWS mediu o teto de 50 requisições por GPU
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Limite (SLO)primeiro áudio em 3000 ms para 95% das requisições; com 50 requisições, 2806 ms
Dado-chave #2O mais demorado (181 s, 56,5% do tempo) é a nova instância aparecendo nos logs
Dado-chave #3Os números foram obtidos em uma ml.g5.xlarge: para outro modelo, as medições precisam ser refeitas

Imagine: um pico de ligações atinge o seu serviço de síntese de voz (TTS, text-to-speech). As requisições entram na fila, e o primeiro áudio chega mais tarde do que você prometeu aos clientes, ou seja, ultrapassa o SLO (limite de latência acordado). O autoscaling, que deveria adicionar servidores, foi configurado com um limite escolhido no olho. Esse chute erra em silêncio: um limite conservador demais significa instâncias com GPU ociosas que pesam em toda a fatura; um limite arrojado demais é um risco que ninguém enxerga até o primeiro pico de verdade. A equipe da AWS, no blog Machine Learning, propõe substituir o chute por duas medições em um endpoint real.

Quais dois números medir

O exemplo usa o modelo Kokoro-82M (82 milhões de parâmetros), implantado em um contêiner próprio em um endpoint em tempo real do Amazon SageMaker AI, via AWS CDK. O primeiro número se chama Q_max: é a maior quantidade de requisições, simultaneamente na fila e em execução em uma mesma instância, na qual 95% das requisições ainda recebem o primeiro byte de áudio dentro do SLO de 3000 ms. O segundo é T_total: quanto tempo real passa desde a solicitação de nova capacidade até o momento em que ela atende o tráfego sem falhas. Os limites de escalonamento para cima e para baixo e as duas pausas (cooldown) são derivados desses dois números por aritmética.

O Q_max foi buscado com uma escada de carga: o cliente mantém exatamente N requisições simultâneas e aumenta N em degraus, até que o SLO seja quebrado. Resultados para o p95 (tempo até o primeiro byte de áudio): 1 requisição — 65,4 ms; 10 — 568,5 ms; 30 — 1689,8 ms; 50 — 2805,7 ms. Com 60 requisições, já são 3374,8 ms, acima do limite.

Logo, Q_max = 50, e esse é o teto real, não uma estimativa inferior: o degrau acima dele de fato rompeu o SLO. O teste é fechado, ou seja, o número de requisições não cai quando o servidor desacelera, então a fila não fica escondida. Uma execução real leva cerca de 36 minutos, e o modo --dry-run mostra o cronograma sem fazer chamadas à AWS.

Por que as métricas padrão não servem

A maioria dos guias de autoscaling foi feita para requisições síncronas curtas ou para LLMs, em que a métrica conveniente são tokens por segundo. O Kokoro-82M não tem um ciclo de geração de tokens: o modelo entrega a frase em uma única passagem, e cada requisição mantém a conexão por alguns segundos. Por isso, o escalonamento usa ConcurrentRequestsPerModel, uma métrica que o próprio SageMaker publica. Assim se evita o cenário em que a métrica personalizada está configurada no papel, mas os dados nunca chegam a ela.

Há uma nuance: o SageMaker reporta o máximo em janelas de 10 segundos, enquanto o cliente do benchmark vê a média de requisições em andamento. A ferramenta mede as duas grandezas em cada degrau e calcula um coeficiente de conversão. Nesta execução, ele deu exatamente 1,0, então os limites coincidem sem correções.

Quanto o parque cresce de fato

O T_total foi medido forçando um scale-out fora da política e registrando o tempo de cada etapa. O mais demorado, 180,8 segundos (56,5% do tempo total), vai desde a definição da capacidade desejada até a instância aparecer nos logs. Mais 47,4 segundos (14,8%) são gastos para restabelecer o tráfego após a entrada em operação; 30 segundos (9,4%) na própria requisição de capacidade; 20,7 segundos (6,5%) na transição para in_service.

O carregamento dos pesos leva 6,5 segundos, e o aquecimento, 1 segundo. No total, o escalonamento consome cerca de 320 segundos. A conclusão prática: acelerar a subida vale mais se for feito no que acontece antes de o contêiner iniciar, como pesos em cache no S3 ou uma reserva aquecida, do que otimizando o modelo.

Antes das medições, a ferramenta executa uma verificação de drift: compara as políticas e alarmes implantados com a configuração, caso contrário uma política esquecida de um modelo anterior poderia alterar a capacidade no meio do teste. Se uma execução for interrompida, o autoscaling pode ficar "preso" em uma única instância, e o comando thaw devolve a política ao normal. Os recursos de autoscaling só são criados pelo stack CDK quando há um plano de medição real, de modo que uma configuração não medida não chega à produção em silêncio. Um alarme separado acompanha o tempo de processamento sem fila: nas medições, isso ficou em média em 61,3 ms, com p95 de 66,1 ms.

Limitações

Os números foram obtidos em um único modelo e em uma instância ml.g5.xlarge; para a sua voz, a sua imagem e o seu hardware, Q_max e T_total precisarão ser medidos novamente. Para a medição, é preciso ter cota suficiente para pelo menos uma instância a mais. O contêiner do exemplo usa uma versão antiga do PyTorch com uma vulnerabilidade conhecida (PYSEC-2026-2286, corrigida no torch 2.10.0), então atualize-o antes de qualquer uso fora de um teste. O código e a sequência de comandos estão no repositório aws-samples. A abordagem também serve para outros modelos com requisições longas e sem ciclo de tokens.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Quais dois números medir?

O exemplo usa o modelo Kokoro-82M (82 milhões de parâmetros), implantado em um contêiner próprio em um endpoint em tempo real do Amazon SageMaker AI, via AWS CDK. O primeiro número se chama Q_max: é a maior quantidade de requisições, simultaneamente na fila e em execução em uma mesma instância, na qual 95% das requisições ainda recebem o primeiro byte de áudio dentro do SLO de 3000 ms.

Por que as métricas padrão não servem?

A maioria dos guias de autoscaling foi feita para requisições síncronas curtas ou para LLMs, em que a métrica conveniente são tokens por segundo. O Kokoro-82M não tem um ciclo de geração de tokens: o modelo entrega a frase em uma única passagem, e cada requisição mantém a conexão por alguns segundos. Por isso, o escalonamento usa ConcurrentRequestsPerModel, uma métrica que o próprio SageMaker publica.

O que se sabe sobre Quanto o parque cresce de fato?

O T_total foi medido forçando um scale-out fora da política e registrando o tempo de cada etapa. O mais demorado, 180,8 segundos (56,5% do tempo total), vai desde a definição da capacidade desejada até a instância aparecer nos logs. Mais 47,4 segundos (14,8%) são gastos para restabelecer o tráfego após a entrada em operação; 30 segundos (9,4%) na própria requisição de capacidade; 20,7 segundos (6,5%) na transição para in_service. O carregamento dos pesos leva 6,5 segundos, e o aquecimento, 1 segundo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…