Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарAWS Machine Learning Blog→ оригинал

Как не гадать с автоскейлингом синтеза речи: AWS замерила потолок в 50 запросов на GPU

Порог автоскейлинга для сервиса синтеза речи (TTS) часто выбирают на глаз, и ошибка видна только в пик: очередь растёт, а ответ задерживается дольше обещанных 3 секунд. AWS замерила на модели Kokoro-82M два числа: потолок в 50 одновременных запросов на один GPU-инстанс и около 320 секунд, пока новый инстанс начнёт принимать трафик. На 60 запросах задержка первого звука (p95) уже составила 3375 мс — мимо лимита. Поэтому пороги лучше считать по замерам.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Как не гадать с автоскейлингом синтеза речи: AWS замерила потолок в 50 запросов на GPU
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Лимит (SLO)первый звук за 3000 мс у 95% запросов; на 50 запросах — 2806 мс
Ключевой факт #2Дольше всего (181 с, 56,5% времени) новый инстанс только появляется в логах
Цифры получены на ml.g5.xlargeдля другой модели замеры нужно повторить

Представьте: на ваш сервис синтеза речи (TTS, text-to-speech) обрушивается пик звонков. Запросы встают в очередь, и первый звук приходит позже, чем вы обещали клиентам, то есть выходит за SLO (договорённый предел задержки). Автоскейлинг, который должен добавлять серверы, был настроен по порогу, выбранному на глаз. Такая догадка ошибается молча: слишком осторожный порог — это GPU-инстансы, которые простаивают и попадают в каждый счёт, слишком смелый — риск, который никто не видит до первого настоящего всплеска. Команда AWS в блоге Machine Learning предлагает заменить догадку двумя измерениями на живом эндпоинте.

Какие два числа нужно замерить

Пример построен на модели Kokoro-82M (82 млн параметров), которую разворачивают в собственном контейнере на real-time эндпоинте Amazon SageMaker AI через AWS CDK. Первое число называется Q_max: это наибольшее число запросов, одновременно стоящих в очереди и выполняющихся на одном инстансе, при котором 95% запросов всё ещё получают первый аудиобайт в пределах SLO в 3000 мс. Второе — T_total: сколько реального времени проходит от запроса новой мощности до момента, когда она обслуживает трафик без сбоев. Пороги масштабирования вверх и вниз и обе паузы (cooldown) дальше выводятся из этих двух чисел арифметикой.

Q_max искали нагрузочной лестницей: клиент удерживает ровно N одновременных запросов и поднимает N ступенями, пока SLO не сломается. Результаты для p95 (время до первого аудиобайта): 1 запрос — 65,4 мс, 10 — 568,5 мс, 30 — 1689,8 мс, 50 — 2805,7 мс. На 60 запросах уже 3374,8 мс, это выход за лимит. Значит, Q_max = 50, причём настоящий потолок, а не нижняя оценка: ступень выше его реально пробила SLO. Тест замкнутый, то есть число запросов не падает, когда сервер замедляется, поэтому очередь не прячется. Живой прогон занимает около 36 минут, а режим --dry-run показывает расписание без обращений к AWS.

Почему стандартные метрики не подходят

Большинство гайдов по автоскейлингу рассчитаны на короткие синхронные запросы или на LLM, где удобная метрика — токены в секунду. У Kokoro-82M нет цикла генерации токенов: модель выдаёт фразу за один проход, а запрос держит соединение несколько секунд. Поэтому масштабируются по ConcurrentRequestsPerModel — метрике, которую SageMaker публикует сам. Так исключён сценарий, когда кастомная метрика настроена на бумаге, а данные в неё не приходят.

Есть нюанс: SageMaker отдаёт максимум за окно в 10 секунд, а клиент бенчмарка видит среднее число запросов в работе. Инструмент измеряет обе величины на каждой ступени и считает коэффициент пересчёта. В этом запуске он оказался ровно 1,0, поэтому пороги совпадают без поправок.

Сколько на самом деле растёт парк

T_total замеряли, принудительно запустив scale-out в обход политики и отметив время каждой стадии. Дольше всего, 180,8 секунды (56,5% общего времени), проходит от установки желаемой ёмкости до появления инстанса в логах. Ещё 47,4 секунды (14,8%) уходит на восстановление трафика после ввода в работу, 30 секунд (9,4%) — на сам запрос мощности, 20,7 секунды (6,5%) — на переход в in_service. Загрузка весов занимает 6,5 секунды, прогрев — 1 секунду. Итого на масштабирование уходит около 320 секунд. Практический вывод: ускорять подъём стоит не оптимизацией модели, а тем, что происходит до запуска контейнера, например весами в S3-кэше или тёплым запасом.

Перед замерами инструмент запускает проверку drift: сверяет задеплоенные политики и алармы с конфигом, иначе забытая политика от прошлой модели может сама поменять ёмкость посреди теста. Если прогон прервали, автоскейлинг может «застрять» на одном инстансе, и команда thaw возвращает политику. Ресурсы автоскейлинга CDK-стек создаёт только при наличии реального плана замеров, так что неизмеренная конфигурация молча не попадёт в продакшн. Отдельный аларм привязан к времени обработки без очереди: в замерах это в среднем 61,3 мс, p95 — 66,1 мс.

Ограничения

Цифры получены на одной модели и инстансе ml.g5.xlarge; для вашего голоса, образа и железа Q_max и T_total придётся мерить заново. Для замера нужен запас квоты хотя бы на один лишний инстанс. Контейнер из примера использует старую версию PyTorch с известной уязвимостью (PYSEC-2026-2286, исправлена в torch 2.10.0), поэтому обновите её перед любым использованием за пределами пробы. Код и цепочку команд ищите в репозитории aws-samples. Подход подойдёт и другим моделям с долгими запросами и без цикла токенов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: какие два числа нужно замерить?

Пример построен на модели Kokoro-82M (82 млн параметров), которую разворачивают в собственном контейнере на real-time эндпоинте Amazon SageMaker AI через AWS CDK. Первое число называется Q_max: это наибольшее число запросов, одновременно стоящих в очереди и выполняющихся на одном инстансе, при котором 95% запросов всё ещё получают первый аудиобайт в пределах SLO в 3000 мс. Второе — T_total: сколько реального времени проходит от запроса новой мощности до момента, когда она обслуживает трафик без сбоев.

Что известно по теме: почему стандартные метрики не подходят?

Большинство гайдов по автоскейлингу рассчитаны на короткие синхронные запросы или на LLM, где удобная метрика — токены в секунду. У Kokoro-82M нет цикла генерации токенов: модель выдаёт фразу за один проход, а запрос держит соединение несколько секунд. Поэтому масштабируются по ConcurrentRequestsPerModel — метрике, которую SageMaker публикует сам. Так исключён сценарий, когда кастомная метрика настроена на бумаге, а данные в неё не приходят.

Что известно по теме: сколько на самом деле растёт парк?

T_total замеряли, принудительно запустив scale-out в обход политики и отметив время каждой стадии. Дольше всего, 180,8 секунды (56,5% общего времени), проходит от установки желаемой ёмкости до появления инстанса в логах. Ещё 47,4 секунды (14,8%) уходит на восстановление трафика после ввода в работу, 30 секунд (9,4%) — на сам запрос мощности, 20,7 секунды (6,5%) — на переход в in_service. Загрузка весов занимает 6,5 секунды, прогрев — 1 секунду. Итого на масштабирование уходит около 320 секунд.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…