Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

AssemblyAI сократила расходы на GPU-инференс на 70%, перейдя на Spot-инстансы AWS

Расшифровка речи нагружает GPU так, что держать тысячи видеокарт на обычных тарифах AWS слишком дорого. AssemblyAI перенесла инференс на Spot-инстансы, которые Amazon может отобрать с предупреждением за 2 минуты, и сэкономила 70% по сравнению с On-Demand. Задачи лежат в очереди SQS, поэтому прерванную расшифровку просто подхватывает другая машина. Если ваши задачи короткие и независимые, этот приём можно повторить почти без изменений.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AssemblyAI сократила расходы на GPU-инференс на 70%, перейдя на Spot-инстансы AWS
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Парк смешивает видеокарты T4, A10G и L4 в семействах g4dn, g5 и g6
Ключевой факт #2Спрос на вычисления за год вырос почти в 4 раза
Ключевой факт #3Образ машины с моделями собирается примерно за 2 минуты

Когда вы превращаете в текст тысячи часов звонков, лекций и медицинских записей, главная статья расходов — не разработка модели, а видеокарты, на которых она крутится. Каждый аудиофайл проходит через цепочку нейросетей: акустическую модель, языковую модель и этапы постобработки. Всё это работает на GPU NVIDIA, и чтобы укладываться в обещанные клиентам сроки, такие машины приходится держать круглосуточно. У AssemblyAI их тысячи. Инженеры компании вместе с AWS рассказали, как они сократили счёт за вычисления на 70%, не ломая обязательства по доступности и скорости.

Почему Spot, и чем он опасен

Spot-инстансы — это свободные мощности AWS, которые продаются заметно дешевле обычных On-Demand. Условие простое: если ресурсы понадобятся кому-то ещё, Amazon заберёт машину и предупредит об этом за две минуты. Для сервиса с жёсткими гарантиями это серьёзный риск, ведь прерванная расшифровка не должна стать потерянной.

Поэтому AssemblyAI не отказалась от обычных серверов целиком. В каждом кластере Amazon ECS настроена стратегия из двух провайдеров мощности. Базовый слой на On-Demand работает всегда и держит минимальную нагрузку. Spot-слой подключается на всплесках спроса: когда очередь задач растёт, он запрашивает дополнительные машины, а когда спрос падает, аккуратно их отпускает.

Три приёма, на которых держится экономия

Первый приём — разнообразие железа. Вместо одного типа GPU компания использует три семейства инстансов. Серверы g4dn с видеокартами T4 служат недорогой основой для стандартных моделей распознавания. Серверы g5 с A10G дают больше производительности для тяжёлых архитектур. Серверы g6 с L4 лучше по соотношению цены и скорости на крупных моделях, включая решения на базе больших языковых моделей. Каждое семейство берёт ресурсы из собственного пула, поэтому если в одном из них не хватает мощностей, остальные остаются доступны. По словам авторов, именно такая гибкость — самый действенный способ снизить число прерываний. Выбором конкретных пулов занимается стратегия price-capacity optimized: AWS берёт машины там, где свободной мощности больше всего, а цена при этом минимальна.

Второй приём — очередь задач. Запрос на расшифровку попадает в Amazon SQS, а задачи на GPU сами забирают оттуда работу. Типичная задача длится от 15 секунд до нескольких минут. Когда приходит предупреждение о прерывании, EventBridge запускает функцию Lambda. Те задачи, что успевают закончиться за две минуты, завершаются как обычно. Остальные возвращаются в очередь, и их подхватывает другая машина, возможно другого типа или в другой зоне доступности. Задачи, которые исчерпали число попыток, уходят в отдельную очередь для разбора. Для клиента всё это выглядит как небольшая задержка: результат всё равно приходит.

Третий приём — быстрый запуск. Чтобы замена появлялась без долгого ожидания, компания заранее собирает собственные образы машин (AMI) с моделями и контейнерами. По данным AWS, на подготовку уходит около двух минут.

Данные остаются в своём регионе

Среди клиентов AssemblyAI много компаний из медицины, финансов и юридической сферы, где аудио нельзя вывозить за пределы определённой географии. Поэтому в каждом регионе работает полностью независимая копия архитектуры со своими очередями, кластерами и GPU-парками. В статье упомянуты Орегон (us-west-2) и Лондон (eu-west-2). Нужные семейства GPU доступны и в европейских регионах по приемлемым Spot-ценам.

Что из этого можно взять себе

Итог по версии AWS: экономия 70% на вычислениях для инференса против On-Demand. При этом нагрузка за год выросла почти в четыре раза, а экономика единицы расчёта осталась устойчивой.

Есть и оговорки. Текст опубликован в блоге самого AWS и описывает один кейс, без данных о доле прерываний, о задержках в худшем случае или о том, какую часть парка занимает базовый On-Demand-слой. Цифру 70% стоит считать ориентиром, а не гарантией. Приём к тому же подходит не всем. Он работает для коротких задач, которые можно безопасно запустить заново. Если у вас долгое обучение без контрольных точек или диалог в реальном времени, где перезапуск виден пользователю, схему придётся менять.

Практический порядок действий для команды с похожей нагрузкой такой. Сначала распределите задачи по нескольким семействам GPU и размерам и проверьте доступность Spot через placement scores. Затем отделите приём запросов от выполнения очередью и настройте возврат задач при прерывании. Добавьте отдельную очередь для безнадёжных задач и метрики по прерываниям. Наконец, ускорьте запуск новых машин готовыми образами. Идея в том, чтобы считать потерю сервера обычным событием, а не аварией.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему Spot, и чем он опасен?

Spot-инстансы — это свободные мощности AWS, которые продаются заметно дешевле обычных On-Demand. Условие простое: если ресурсы понадобятся кому-то ещё, Amazon заберёт машину и предупредит об этом за две минуты. Для сервиса с жёсткими гарантиями это серьёзный риск, ведь прерванная расшифровка не должна стать потерянной. Поэтому AssemblyAI не отказалась от обычных серверов целиком. В каждом кластере Amazon ECS настроена стратегия из двух провайдеров мощности.

Что известно по теме: три приёма, на которых держится экономия?

Первый приём — разнообразие железа. Вместо одного типа GPU компания использует три семейства инстансов. Серверы g4dn с видеокартами T4 служат недорогой основой для стандартных моделей распознавания. Серверы g5 с A10G дают больше производительности для тяжёлых архитектур. Серверы g6 с L4 лучше по соотношению цены и скорости на крупных моделях, включая решения на базе больших языковых моделей.

Что известно по теме: данные остаются в своём регионе?

Среди клиентов AssemblyAI много компаний из медицины, финансов и юридической сферы, где аудио нельзя вывозить за пределы определённой географии. Поэтому в каждом регионе работает полностью независимая копия архитектуры со своими очередями, кластерами и GPU-парками. В статье упомянуты Орегон (us-west-2) и Лондон (eu-west-2). Нужные семейства GPU доступны и в европейских регионах по приемлемым Spot-ценам.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…