AssemblyAI reduziu os custos de inferência em GPU em 70% ao migrar para instâncias Spot da AWS
A transcrição de voz exige tanto da GPU que manter milhares de placas nas tarifas padrão da AWS fica caro demais. A AssemblyAI passou a inferência para instâncias Spot, que a Amazon pode retirar com aviso de 2 minutos, e economizou 70% em comparação com o On-Demand. As tarefas ficam numa fila no SQS, então uma transcrição interrompida é simplesmente retomada por outra máquina. Se as suas tarefas forem curtas e independentes, essa abordagem pode ser reproduzida quase sem alterações. O parque mistura placas T4, A10G e L4 nas famílias g4dn, g5 e g6. A demanda por computação cresceu quase 4 vezes em um ano. A imagem da máquina com os modelos é montada em cerca de 2 minutos.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Quando você transforma milhares de horas de ligações, palestras e registros médicos em texto, o maior item de custo não é o desenvolvimento do modelo, e sim as placas de vídeo em que ele roda. Cada arquivo de áudio passa por uma cadeia de redes neurais: um modelo acústico, um modelo de linguagem e etapas de pós-processamento. Tudo isso roda em GPUs NVIDIA, e para cumprir os prazos prometidos aos clientes, essas máquinas precisam ficar ligadas 24 horas por dia. A AssemblyAI tem milhares delas. Os engenheiros da empresa, junto com a AWS, contaram como reduziram a conta de computação em 70% sem comprometer as garantias de disponibilidade e velocidade.
Por que Spot, e onde ele é arriscado
As instâncias Spot são capacidade ociosa da AWS, vendida bem mais barata do que as instâncias On-Demand. A condição é simples: se os recursos forem necessários para outro cliente, a Amazon recupera a máquina e avisa com dois minutos de antecedência. Para um serviço com garantias rígidas, isso é um risco sério, já que uma transcrição interrompida não pode se perder.
Por isso, a AssemblyAI não abandonou por completo os servidores comuns. Em cada cluster do Amazon ECS há uma estratégia com dois provedores de capacidade. A camada base On-Demand funciona o tempo todo e sustenta a carga mínima. A camada Spot entra nos picos de demanda: quando a fila de tarefas cresce, ela solicita máquinas adicionais, e quando a demanda cai, as libera com cuidado.
Três práticas que sustentam a economia
A primeira prática é a diversidade de hardware. Em vez de um único tipo de GPU, a empresa usa três famílias de instâncias. Os servidores g4dn com placas T4 formam a base barata para os modelos padrão de reconhecimento.
Os servidores g5 com A10G oferecem mais desempenho para arquiteturas pesadas. Os servidores g6 com L4 têm melhor relação entre preço e velocidade em modelos grandes, inclusive soluções baseadas em grandes modelos de linguagem. Cada família retira recursos de um pool próprio, então, se faltar capacidade em uma delas, as outras continuam disponíveis.
Segundo os autores, essa flexibilidade é a forma mais eficaz de reduzir o número de interrupções. A escolha dos pools específicos fica a cargo da estratégia price-capacity optimized: a AWS aloca máquinas onde há mais capacidade livre e, ao mesmo tempo, o preço é mínimo.
A segunda prática é a fila de tarefas. A solicitação de transcrição entra no Amazon SQS, e as tarefas nas GPUs retiram trabalho dela por conta própria. Uma tarefa típica dura de 15 segundos a alguns minutos. Quando chega o aviso de interrupção, o EventBridge dispara uma função Lambda. As tarefas que conseguem terminar em dois minutos são concluídas normalmente. As demais voltam para a fila e são assumidas por outra máquina, talvez de outro tipo ou em outra zona de disponibilidade. As tarefas que esgotam o número de tentativas vão para uma fila separada, para análise. Para o cliente, isso aparece como um pequeno atraso: o resultado chega do mesmo jeito.
A terceira prática é o início rápido. Para que a substituição aconteça sem longa espera, a empresa prepara de antemão imagens de máquina (AMI) próprias, com modelos e contêineres. Segundo a AWS, a preparação leva cerca de dois minutos.
Os dados ficam na sua região
Entre os clientes da AssemblyAI há muitas empresas dos setores de saúde, financeiro e jurídico, em que o áudio não pode sair de determinada geografia. Por isso, cada região opera uma cópia totalmente independente da arquitetura, com suas próprias filas, clusters e parques de GPU. O artigo cita as regiões de Oregon (us-west-2) e Londres (eu-west-2). As famílias de GPU necessárias também estão disponíveis em regiões europeias, com preços Spot considerados aceitáveis.
O que dá para aproveitar
O resultado, segundo a AWS, é uma economia de 70% na computação de inferência em relação ao On-Demand. Ao mesmo tempo, a carga cresceu quase quatro vezes em um ano, e a economia por unidade de cálculo se manteve sustentável.
Há, porém, ressalvas. O texto foi publicado no blog da própria AWS e descreve um único caso, sem dados sobre a taxa de interrupções, os atrasos no pior cenário ou a fatia do parque ocupada pela camada On-Demand base. Os 70% devem ser vistos como uma referência, e não como garantia. A técnica também não serve para todos. Ela funciona para tarefas curtas que podem ser reexecutadas com segurança. Se você tem um treinamento longo sem checkpoints ou um diálogo em tempo real, em que a reinicialização é visível para o usuário, será preciso mudar o desenho.
Para uma equipe com carga parecida, a sequência prática é a seguinte. Primeiro, distribua as tarefas entre várias famílias e tamanhos de GPU e verifique a disponibilidade de Spot pelos placement scores. Em seguida, separe a recepção de requisições da execução usando uma fila e configure a devolução das tarefas em caso de interrupção. Adicione uma fila separada para as tarefas sem solução e métricas de interrupção. Por fim, acelere o lançamento de novas máquinas com imagens prontas. A ideia é tratar a perda de um servidor como um evento normal, e não como uma emergência.
- 21 de nov. de 2026AG-UI 1.0 dá aos agentes de IA uma linguagem única para falar com o aplicativo: 31 tipos de eventos
- 21 de nov. de 2026OpenAI lança o ChatGPT Wallet: agentes compram sem nunca ver o número do cartão
- 21 de nov. de 2026Anunciantes dos EUA gastaram US$ 70,7 milhões em anúncios no ChatGPT em outubro, 127% a mais que em abril
- 21 de nov. de 2026ONNX Runtime some do GitHub: Microsoft oculta repositórios após comprometimento de pacote
Perguntas frequentes sobre a notícia
Por que Spot, e onde ele é arriscado?
As instâncias Spot são capacidade ociosa da AWS, vendida bem mais barata do que as instâncias On-Demand. A condição é simples: se os recursos forem necessários para outro cliente, a Amazon recupera a máquina e avisa com dois minutos de antecedência. Para um serviço com garantias rígidas, isso é um risco sério, já que uma transcrição interrompida não pode se perder. Por isso, a AssemblyAI não abandonou por completo os servidores comuns.
O que se sabe sobre Três práticas que sustentam a economia?
A primeira prática é a diversidade de hardware. Em vez de um único tipo de GPU, a empresa usa três famílias de instâncias. Os servidores g4dn com placas T4 formam a base barata para os modelos padrão de reconhecimento. Os servidores g5 com A10G oferecem mais desempenho para arquiteturas pesadas. Os servidores g6 com L4 têm melhor relação entre preço e velocidade em modelos grandes, inclusive soluções baseadas em grandes modelos de linguagem.
O que se sabe sobre Os dados ficam na sua região?
Entre os clientes da AssemblyAI há muitas empresas dos setores de saúde, financeiro e jurídico, em que o áudio não pode sair de determinada geografia. Por isso, cada região opera uma cópia totalmente independente da arquitetura, com suas próprias filas, clusters e parques de GPU. O artigo cita as regiões de Oregon (us-west-2) e Londres (eu-west-2). As famílias de GPU necessárias também estão disponíveis em regiões europeias, com preços Spot considerados aceitáveis.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.