AssemblyAI сократила расходы на GPU-инференс на 70%, перейдя на Spot-инстансы AWS
Расшифровка речи нагружает GPU так, что держать тысячи видеокарт на обычных тарифах AWS слишком дорого. AssemblyAI перенесла инференс на Spot-инстансы, которые Amazon может отобрать с предупреждением за 2 минуты, и сэкономила 70% по сравнению с On-Demand. Задачи лежат в очереди SQS, поэтому прерванную расшифровку просто подхватывает другая машина. Если ваши задачи короткие и независимые, этот приём можно повторить почти без изменений.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Когда вы превращаете в текст тысячи часов звонков, лекций и медицинских записей, главная статья расходов — не разработка модели, а видеокарты, на которых она крутится. Каждый аудиофайл проходит через цепочку нейросетей: акустическую модель, языковую модель и этапы постобработки. Всё это работает на GPU NVIDIA, и чтобы укладываться в обещанные клиентам сроки, такие машины приходится держать круглосуточно. У AssemblyAI их тысячи. Инженеры компании вместе с AWS рассказали, как они сократили счёт за вычисления на 70%, не ломая обязательства по доступности и скорости.
Почему Spot, и чем он опасен
Spot-инстансы — это свободные мощности AWS, которые продаются заметно дешевле обычных On-Demand. Условие простое: если ресурсы понадобятся кому-то ещё, Amazon заберёт машину и предупредит об этом за две минуты. Для сервиса с жёсткими гарантиями это серьёзный риск, ведь прерванная расшифровка не должна стать потерянной.
Поэтому AssemblyAI не отказалась от обычных серверов целиком. В каждом кластере Amazon ECS настроена стратегия из двух провайдеров мощности. Базовый слой на On-Demand работает всегда и держит минимальную нагрузку. Spot-слой подключается на всплесках спроса: когда очередь задач растёт, он запрашивает дополнительные машины, а когда спрос падает, аккуратно их отпускает.
Три приёма, на которых держится экономия
Первый приём — разнообразие железа. Вместо одного типа GPU компания использует три семейства инстансов. Серверы g4dn с видеокартами T4 служат недорогой основой для стандартных моделей распознавания. Серверы g5 с A10G дают больше производительности для тяжёлых архитектур. Серверы g6 с L4 лучше по соотношению цены и скорости на крупных моделях, включая решения на базе больших языковых моделей. Каждое семейство берёт ресурсы из собственного пула, поэтому если в одном из них не хватает мощностей, остальные остаются доступны. По словам авторов, именно такая гибкость — самый действенный способ снизить число прерываний. Выбором конкретных пулов занимается стратегия price-capacity optimized: AWS берёт машины там, где свободной мощности больше всего, а цена при этом минимальна.
Второй приём — очередь задач. Запрос на расшифровку попадает в Amazon SQS, а задачи на GPU сами забирают оттуда работу. Типичная задача длится от 15 секунд до нескольких минут. Когда приходит предупреждение о прерывании, EventBridge запускает функцию Lambda. Те задачи, что успевают закончиться за две минуты, завершаются как обычно. Остальные возвращаются в очередь, и их подхватывает другая машина, возможно другого типа или в другой зоне доступности. Задачи, которые исчерпали число попыток, уходят в отдельную очередь для разбора. Для клиента всё это выглядит как небольшая задержка: результат всё равно приходит.
Третий приём — быстрый запуск. Чтобы замена появлялась без долгого ожидания, компания заранее собирает собственные образы машин (AMI) с моделями и контейнерами. По данным AWS, на подготовку уходит около двух минут.
Данные остаются в своём регионе
Среди клиентов AssemblyAI много компаний из медицины, финансов и юридической сферы, где аудио нельзя вывозить за пределы определённой географии. Поэтому в каждом регионе работает полностью независимая копия архитектуры со своими очередями, кластерами и GPU-парками. В статье упомянуты Орегон (us-west-2) и Лондон (eu-west-2). Нужные семейства GPU доступны и в европейских регионах по приемлемым Spot-ценам.
Что из этого можно взять себе
Итог по версии AWS: экономия 70% на вычислениях для инференса против On-Demand. При этом нагрузка за год выросла почти в четыре раза, а экономика единицы расчёта осталась устойчивой.
Есть и оговорки. Текст опубликован в блоге самого AWS и описывает один кейс, без данных о доле прерываний, о задержках в худшем случае или о том, какую часть парка занимает базовый On-Demand-слой. Цифру 70% стоит считать ориентиром, а не гарантией. Приём к тому же подходит не всем. Он работает для коротких задач, которые можно безопасно запустить заново. Если у вас долгое обучение без контрольных точек или диалог в реальном времени, где перезапуск виден пользователю, схему придётся менять.
Практический порядок действий для команды с похожей нагрузкой такой. Сначала распределите задачи по нескольким семействам GPU и размерам и проверьте доступность Spot через placement scores. Затем отделите приём запросов от выполнения очередью и настройте возврат задач при прерывании. Добавьте отдельную очередь для безнадёжных задач и метрики по прерываниям. Наконец, ускорьте запуск новых машин готовыми образами. Идея в том, чтобы считать потерю сервера обычным событием, а не аварией.
- 21 нояб. 2026 г.AG-UI 1.0 даёт ИИ-агентам единый язык для связи с приложением: 31 тип событий
- 21 нояб. 2026 г.OpenAI запустила ChatGPT Wallet: агенты покупают, не видя номер карты
- 21 нояб. 2026 г.США вложили в рекламу ChatGPT $70,7 млн за октябрь — на 127% больше, чем в апреле
- 21 нояб. 2026 г.ONNX Runtime пропал с GitHub: Microsoft скрыла репозитории после взлома пакета
Вопросы и ответы по материалу
Что известно по теме: почему Spot, и чем он опасен?
Spot-инстансы — это свободные мощности AWS, которые продаются заметно дешевле обычных On-Demand. Условие простое: если ресурсы понадобятся кому-то ещё, Amazon заберёт машину и предупредит об этом за две минуты. Для сервиса с жёсткими гарантиями это серьёзный риск, ведь прерванная расшифровка не должна стать потерянной. Поэтому AssemblyAI не отказалась от обычных серверов целиком. В каждом кластере Amazon ECS настроена стратегия из двух провайдеров мощности.
Что известно по теме: три приёма, на которых держится экономия?
Первый приём — разнообразие железа. Вместо одного типа GPU компания использует три семейства инстансов. Серверы g4dn с видеокартами T4 служат недорогой основой для стандартных моделей распознавания. Серверы g5 с A10G дают больше производительности для тяжёлых архитектур. Серверы g6 с L4 лучше по соотношению цены и скорости на крупных моделях, включая решения на базе больших языковых моделей.
Что известно по теме: данные остаются в своём регионе?
Среди клиентов AssemblyAI много компаний из медицины, финансов и юридической сферы, где аудио нельзя вывозить за пределы определённой географии. Поэтому в каждом регионе работает полностью независимая копия архитектуры со своими очередями, кластерами и GPU-парками. В статье упомянуты Орегон (us-west-2) и Лондон (eu-west-2). Нужные семейства GPU доступны и в европейских регионах по приемлемым Spot-ценам.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.