Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
InfraestruturaAnálise · No radarAWS Machine Learning Blog→ original

AssemblyAI reduziu os custos de inferência em GPU em 70% ao migrar para instâncias Spot da AWS

A transcrição de voz exige tanto da GPU que manter milhares de placas nas tarifas padrão da AWS fica caro demais. A AssemblyAI passou a inferência para instâncias Spot, que a Amazon pode retirar com aviso de 2 minutos, e economizou 70% em comparação com o On-Demand. As tarefas ficam numa fila no SQS, então uma transcrição interrompida é simplesmente retomada por outra máquina. Se as suas tarefas forem curtas e independentes, essa abordagem pode ser reproduzida quase sem alterações. O parque mistura placas T4, A10G e L4 nas famílias g4dn, g5 e g6. A demanda por computação cresceu quase 4 vezes em um ano. A imagem da máquina com os modelos é montada em cerca de 2 minutos.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
AssemblyAI reduziu os custos de inferência em GPU em 70% ao migrar para instâncias Spot da AWS
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo

Quando você transforma milhares de horas de ligações, palestras e registros médicos em texto, o maior item de custo não é o desenvolvimento do modelo, e sim as placas de vídeo em que ele roda. Cada arquivo de áudio passa por uma cadeia de redes neurais: um modelo acústico, um modelo de linguagem e etapas de pós-processamento. Tudo isso roda em GPUs NVIDIA, e para cumprir os prazos prometidos aos clientes, essas máquinas precisam ficar ligadas 24 horas por dia. A AssemblyAI tem milhares delas. Os engenheiros da empresa, junto com a AWS, contaram como reduziram a conta de computação em 70% sem comprometer as garantias de disponibilidade e velocidade.

Por que Spot, e onde ele é arriscado

As instâncias Spot são capacidade ociosa da AWS, vendida bem mais barata do que as instâncias On-Demand. A condição é simples: se os recursos forem necessários para outro cliente, a Amazon recupera a máquina e avisa com dois minutos de antecedência. Para um serviço com garantias rígidas, isso é um risco sério, já que uma transcrição interrompida não pode se perder.

Por isso, a AssemblyAI não abandonou por completo os servidores comuns. Em cada cluster do Amazon ECS há uma estratégia com dois provedores de capacidade. A camada base On-Demand funciona o tempo todo e sustenta a carga mínima. A camada Spot entra nos picos de demanda: quando a fila de tarefas cresce, ela solicita máquinas adicionais, e quando a demanda cai, as libera com cuidado.

Três práticas que sustentam a economia

A primeira prática é a diversidade de hardware. Em vez de um único tipo de GPU, a empresa usa três famílias de instâncias. Os servidores g4dn com placas T4 formam a base barata para os modelos padrão de reconhecimento.

Os servidores g5 com A10G oferecem mais desempenho para arquiteturas pesadas. Os servidores g6 com L4 têm melhor relação entre preço e velocidade em modelos grandes, inclusive soluções baseadas em grandes modelos de linguagem. Cada família retira recursos de um pool próprio, então, se faltar capacidade em uma delas, as outras continuam disponíveis.

Segundo os autores, essa flexibilidade é a forma mais eficaz de reduzir o número de interrupções. A escolha dos pools específicos fica a cargo da estratégia price-capacity optimized: a AWS aloca máquinas onde há mais capacidade livre e, ao mesmo tempo, o preço é mínimo.

A segunda prática é a fila de tarefas. A solicitação de transcrição entra no Amazon SQS, e as tarefas nas GPUs retiram trabalho dela por conta própria. Uma tarefa típica dura de 15 segundos a alguns minutos. Quando chega o aviso de interrupção, o EventBridge dispara uma função Lambda. As tarefas que conseguem terminar em dois minutos são concluídas normalmente. As demais voltam para a fila e são assumidas por outra máquina, talvez de outro tipo ou em outra zona de disponibilidade. As tarefas que esgotam o número de tentativas vão para uma fila separada, para análise. Para o cliente, isso aparece como um pequeno atraso: o resultado chega do mesmo jeito.

A terceira prática é o início rápido. Para que a substituição aconteça sem longa espera, a empresa prepara de antemão imagens de máquina (AMI) próprias, com modelos e contêineres. Segundo a AWS, a preparação leva cerca de dois minutos.

Os dados ficam na sua região

Entre os clientes da AssemblyAI há muitas empresas dos setores de saúde, financeiro e jurídico, em que o áudio não pode sair de determinada geografia. Por isso, cada região opera uma cópia totalmente independente da arquitetura, com suas próprias filas, clusters e parques de GPU. O artigo cita as regiões de Oregon (us-west-2) e Londres (eu-west-2). As famílias de GPU necessárias também estão disponíveis em regiões europeias, com preços Spot considerados aceitáveis.

O que dá para aproveitar

O resultado, segundo a AWS, é uma economia de 70% na computação de inferência em relação ao On-Demand. Ao mesmo tempo, a carga cresceu quase quatro vezes em um ano, e a economia por unidade de cálculo se manteve sustentável.

Há, porém, ressalvas. O texto foi publicado no blog da própria AWS e descreve um único caso, sem dados sobre a taxa de interrupções, os atrasos no pior cenário ou a fatia do parque ocupada pela camada On-Demand base. Os 70% devem ser vistos como uma referência, e não como garantia. A técnica também não serve para todos. Ela funciona para tarefas curtas que podem ser reexecutadas com segurança. Se você tem um treinamento longo sem checkpoints ou um diálogo em tempo real, em que a reinicialização é visível para o usuário, será preciso mudar o desenho.

Para uma equipe com carga parecida, a sequência prática é a seguinte. Primeiro, distribua as tarefas entre várias famílias e tamanhos de GPU e verifique a disponibilidade de Spot pelos placement scores. Em seguida, separe a recepção de requisições da execução usando uma fila e configure a devolução das tarefas em caso de interrupção. Adicione uma fila separada para as tarefas sem solução e métricas de interrupção. Por fim, acelere o lançamento de novas máquinas com imagens prontas. A ideia é tratar a perda de um servidor como um evento normal, e não como uma emergência.

História

Perguntas frequentes sobre a notícia

Por que Spot, e onde ele é arriscado?

As instâncias Spot são capacidade ociosa da AWS, vendida bem mais barata do que as instâncias On-Demand. A condição é simples: se os recursos forem necessários para outro cliente, a Amazon recupera a máquina e avisa com dois minutos de antecedência. Para um serviço com garantias rígidas, isso é um risco sério, já que uma transcrição interrompida não pode se perder. Por isso, a AssemblyAI não abandonou por completo os servidores comuns.

O que se sabe sobre Três práticas que sustentam a economia?

A primeira prática é a diversidade de hardware. Em vez de um único tipo de GPU, a empresa usa três famílias de instâncias. Os servidores g4dn com placas T4 formam a base barata para os modelos padrão de reconhecimento. Os servidores g5 com A10G oferecem mais desempenho para arquiteturas pesadas. Os servidores g6 com L4 têm melhor relação entre preço e velocidade em modelos grandes, inclusive soluções baseadas em grandes modelos de linguagem.

O que se sabe sobre Os dados ficam na sua região?

Entre os clientes da AssemblyAI há muitas empresas dos setores de saúde, financeiro e jurídico, em que o áudio não pode sair de determinada geografia. Por isso, cada região opera uma cópia totalmente independente da arquitetura, com suas próprias filas, clusters e parques de GPU. O artigo cita as regiões de Oregon (us-west-2) e Londres (eu-west-2). As famílias de GPU necessárias também estão disponíveis em regiões europeias, com preços Spot considerados aceitáveis.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…