Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
InfraestructuraAnálisis · En radarAWS Machine Learning Blog→ original

AssemblyAI redujo los costes de inferencia en GPU un 70% al migrar a instancias Spot de AWS

La transcripción de voz consume tanta GPU que mantener miles de tarjetas gráficas con las tarifas habituales de AWS resulta demasiado caro. AssemblyAI trasladó la inferencia a instancias Spot, que Amazon puede recuperar con un aviso de 2 minutos, y logró un ahorro del 70% frente a On-Demand. Las tareas esperan en una cola SQS, de modo que si una transcripción se interrumpe, otra máquina la retoma. Si tus tareas son cortas e independientes, este enfoque puede replicarse casi sin cambios.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
AssemblyAI redujo los costes de inferencia en GPU un 70% al migrar a instancias Spot de AWS
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo

Cuando conviertes en texto miles de horas de llamadas, conferencias y registros médicos, el principal gasto no es el desarrollo del modelo, sino las tarjetas gráficas en las que se ejecuta. Cada archivo de audio pasa por una cadena de redes neuronales: un modelo acústico, un modelo de lenguaje y etapas de posprocesado. Todo ello funciona sobre GPU de NVIDIA, y para cumplir los plazos prometidos a los clientes, estas máquinas deben mantenerse encendidas las 24 horas. AssemblyAI tiene miles de ellas. Los ingenieros de la compañía, junto con AWS, explicaron cómo redujeron la factura de computación un 70% sin incumplir sus compromisos de disponibilidad y velocidad.

Por qué Spot y qué riesgo tiene

Las instancias Spot son capacidad libre de AWS que se vende bastante más barata que las On-Demand. La condición es simple: si alguien más necesita esos recursos, Amazon recupera la máquina y avisa con dos minutos de antelación. Para un servicio con garantías estrictas, es un riesgo serio, porque una transcripción interrumpida no puede perderse.

Por eso AssemblyAI no renunció por completo a los servidores normales. En cada clúster de Amazon ECS se configura una estrategia con dos proveedores de capacidad. La capa base On-Demand funciona siempre y soporta la carga mínima. La capa Spot se activa en los picos de demanda: cuando la cola de tareas crece, solicita máquinas adicionales, y cuando la demanda baja, las libera con cuidado.

Tres técnicas que sostienen el ahorro

La primera es la diversidad de hardware. En lugar de un único tipo de GPU, la compañía utiliza tres familias de instancias. Los servidores g4dn con tarjetas T4 son la base económica para los modelos de reconocimiento estándar.

Los servidores g5 con A10G ofrecen más rendimiento para arquitecturas pesadas. Los servidores g6 con L4 son mejores en relación precio-velocidad en modelos grandes, incluidas las soluciones basadas en modelos de lenguaje de gran tamaño. Cada familia toma recursos de su propio pool, así que si en una escasea capacidad, las demás siguen disponibles.

Según los autores, esa flexibilidad es la forma más eficaz de reducir el número de interrupciones. La elección de los pools concretos la hace la estrategia price-capacity optimized: AWS toma las máquinas donde hay más capacidad libre y el precio es mínimo.

La segunda es la cola de tareas. Las solicitudes de transcripción llegan a Amazon SQS, y las tareas en GPU toman el trabajo de allí. Una tarea típica dura entre 15 segundos y varios minutos. Cuando llega el aviso de interrupción, EventBridge activa una función Lambda. Las tareas que terminan dentro de esos dos minutos se completan con normalidad. El resto vuelve a la cola y las recoge otra máquina, posiblemente de otro tipo o en otra zona de disponibilidad. Las tareas que agotan el número de reintentos pasan a una cola aparte para su revisión. Para el cliente, todo esto supone una pequeña demora: el resultado llega igualmente.

La tercera es el arranque rápido. Para que el reemplazo aparezca sin una espera larga, la compañía prepara de antemano imágenes de máquina propias (AMI) con modelos y contenedores. Según AWS, la preparación lleva unos dos minutos.

Los datos se quedan en su región

Entre los clientes de AssemblyAI hay muchas empresas de medicina, finanzas y sector jurídico, donde el audio no puede salir de determinadas áreas geográficas. Por eso, en cada región funciona una copia completamente independiente de la arquitectura, con sus propias colas, clústeres y parques de GPU. El artículo menciona Oregón (us-west-2) y Londres (eu-west-2). Las familias de GPU necesarias también están disponibles en regiones europeas a precios Spot razonables.

Qué se puede aprovechar

El balance según AWS: un ahorro del 70% en computación para inferencia frente a On-Demand. Al mismo tiempo, la carga creció casi cuatro veces en un año y la economía por unidad de cálculo se mantuvo estable.

Hay también matices. El texto está publicado en el blog del propio AWS y describe un solo caso, sin datos sobre la tasa de interrupciones, las latencias en el peor escenario ni el porcentaje del parque que ocupa la capa base On-Demand. La cifra del 70% debe tomarse como referencia, no como garantía. Además, la técnica no encaja con todos los casos. Funciona para tareas cortas que pueden relanzarse con seguridad. Si tienes un entrenamiento largo sin puntos de control o un diálogo en tiempo real en el que el reinicio es visible para el usuario, el esquema tendrá que cambiar.

El orden práctico para un equipo con una carga similar es el siguiente. Primero, distribuye las tareas entre varias familias de GPU y tamaños, y comprueba la disponibilidad de Spot con las placement scores. Después, separa la recepción de solicitudes de la ejecución mediante una cola y configura la devolución de tareas ante interrupciones. Añade una cola aparte para las tareas sin recuperación y métricas de interrupciones. Por último, acelera el arranque de las máquinas nuevas con imágenes preparadas. La idea es tratar la pérdida de un servidor como un evento normal y no como una emergencia.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué Spot y qué riesgo tiene?

Las instancias Spot son capacidad libre de AWS que se vende bastante más barata que las On-Demand. La condición es simple: si alguien más necesita esos recursos, Amazon recupera la máquina y avisa con dos minutos de antelación. Para un servicio con garantías estrictas, es un riesgo serio, porque una transcripción interrumpida no puede perderse. Por eso AssemblyAI no renunció por completo a los servidores normales. En cada clúster de Amazon ECS se configura una estrategia con dos proveedores de capacidad.

¿Qué se sabe sobre Tres técnicas que sostienen el ahorro?

La primera es la diversidad de hardware. En lugar de un único tipo de GPU, la compañía utiliza tres familias de instancias. Los servidores g4dn con tarjetas T4 son la base económica para los modelos de reconocimiento estándar. Los servidores g5 con A10G ofrecen más rendimiento para arquitecturas pesadas. Los servidores g6 con L4 son mejores en relación precio-velocidad en modelos grandes, incluidas las soluciones basadas en modelos de lenguaje de gran tamaño.

¿Qué se sabe sobre Los datos se quedan en su región?

Entre los clientes de AssemblyAI hay muchas empresas de medicina, finanzas y sector jurídico, donde el audio no puede salir de determinadas áreas geográficas. Por eso, en cada región funciona una copia completamente independiente de la arquitectura, con sus propias colas, clústeres y parques de GPU. El artículo menciona Oregón (us-west-2) y Londres (eu-west-2). Las familias de GPU necesarias también están disponibles en regiones europeas a precios Spot razonables.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…