Как не гадать с автоскейлингом синтеза речи: AWS замерила потолок в 50 запросов на GPU
Порог автоскейлинга для сервиса синтеза речи (TTS) часто выбирают на глаз, и ошибка видна только в пик: очередь растёт, а ответ задерживается дольше обещанных 3 секунд. AWS замерила на модели Kokoro-82M два числа: потолок в 50 одновременных запросов на один GPU-инстанс и около 320 секунд, пока новый инстанс начнёт принимать трафик. На 60 запросах задержка первого звука (p95) уже составила 3375 мс — мимо лимита. Поэтому пороги лучше считать по замерам.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте: на ваш сервис синтеза речи (TTS, text-to-speech) обрушивается пик звонков. Запросы встают в очередь, и первый звук приходит позже, чем вы обещали клиентам, то есть выходит за SLO (договорённый предел задержки). Автоскейлинг, который должен добавлять серверы, был настроен по порогу, выбранному на глаз. Такая догадка ошибается молча: слишком осторожный порог — это GPU-инстансы, которые простаивают и попадают в каждый счёт, слишком смелый — риск, который никто не видит до первого настоящего всплеска. Команда AWS в блоге Machine Learning предлагает заменить догадку двумя измерениями на живом эндпоинте.
Какие два числа нужно замерить
Пример построен на модели Kokoro-82M (82 млн параметров), которую разворачивают в собственном контейнере на real-time эндпоинте Amazon SageMaker AI через AWS CDK. Первое число называется Q_max: это наибольшее число запросов, одновременно стоящих в очереди и выполняющихся на одном инстансе, при котором 95% запросов всё ещё получают первый аудиобайт в пределах SLO в 3000 мс. Второе — T_total: сколько реального времени проходит от запроса новой мощности до момента, когда она обслуживает трафик без сбоев. Пороги масштабирования вверх и вниз и обе паузы (cooldown) дальше выводятся из этих двух чисел арифметикой.
Q_max искали нагрузочной лестницей: клиент удерживает ровно N одновременных запросов и поднимает N ступенями, пока SLO не сломается. Результаты для p95 (время до первого аудиобайта): 1 запрос — 65,4 мс, 10 — 568,5 мс, 30 — 1689,8 мс, 50 — 2805,7 мс. На 60 запросах уже 3374,8 мс, это выход за лимит. Значит, Q_max = 50, причём настоящий потолок, а не нижняя оценка: ступень выше его реально пробила SLO. Тест замкнутый, то есть число запросов не падает, когда сервер замедляется, поэтому очередь не прячется. Живой прогон занимает около 36 минут, а режим --dry-run показывает расписание без обращений к AWS.
Почему стандартные метрики не подходят
Большинство гайдов по автоскейлингу рассчитаны на короткие синхронные запросы или на LLM, где удобная метрика — токены в секунду. У Kokoro-82M нет цикла генерации токенов: модель выдаёт фразу за один проход, а запрос держит соединение несколько секунд. Поэтому масштабируются по ConcurrentRequestsPerModel — метрике, которую SageMaker публикует сам. Так исключён сценарий, когда кастомная метрика настроена на бумаге, а данные в неё не приходят.
Есть нюанс: SageMaker отдаёт максимум за окно в 10 секунд, а клиент бенчмарка видит среднее число запросов в работе. Инструмент измеряет обе величины на каждой ступени и считает коэффициент пересчёта. В этом запуске он оказался ровно 1,0, поэтому пороги совпадают без поправок.
Сколько на самом деле растёт парк
T_total замеряли, принудительно запустив scale-out в обход политики и отметив время каждой стадии. Дольше всего, 180,8 секунды (56,5% общего времени), проходит от установки желаемой ёмкости до появления инстанса в логах. Ещё 47,4 секунды (14,8%) уходит на восстановление трафика после ввода в работу, 30 секунд (9,4%) — на сам запрос мощности, 20,7 секунды (6,5%) — на переход в in_service. Загрузка весов занимает 6,5 секунды, прогрев — 1 секунду. Итого на масштабирование уходит около 320 секунд. Практический вывод: ускорять подъём стоит не оптимизацией модели, а тем, что происходит до запуска контейнера, например весами в S3-кэше или тёплым запасом.
Перед замерами инструмент запускает проверку drift: сверяет задеплоенные политики и алармы с конфигом, иначе забытая политика от прошлой модели может сама поменять ёмкость посреди теста. Если прогон прервали, автоскейлинг может «застрять» на одном инстансе, и команда thaw возвращает политику. Ресурсы автоскейлинга CDK-стек создаёт только при наличии реального плана замеров, так что неизмеренная конфигурация молча не попадёт в продакшн. Отдельный аларм привязан к времени обработки без очереди: в замерах это в среднем 61,3 мс, p95 — 66,1 мс.
Ограничения
Цифры получены на одной модели и инстансе ml.g5.xlarge; для вашего голоса, образа и железа Q_max и T_total придётся мерить заново. Для замера нужен запас квоты хотя бы на один лишний инстанс. Контейнер из примера использует старую версию PyTorch с известной уязвимостью (PYSEC-2026-2286, исправлена в torch 2.10.0), поэтому обновите её перед любым использованием за пределами пробы. Код и цепочку команд ищите в репозитории aws-samples. Подход подойдёт и другим моделям с долгими запросами и без цикла токенов.
- 21 нояб. 2026 г.AG-UI 1.0 даёт ИИ-агентам единый язык для связи с приложением: 31 тип событий
- 21 нояб. 2026 г.OpenAI запустила ChatGPT Wallet: агенты покупают, не видя номер карты
- 21 нояб. 2026 г.США вложили в рекламу ChatGPT $70,7 млн за октябрь — на 127% больше, чем в апреле
- 21 нояб. 2026 г.ONNX Runtime пропал с GitHub: Microsoft скрыла репозитории после взлома пакета
Вопросы и ответы по материалу
Что известно по теме: какие два числа нужно замерить?
Пример построен на модели Kokoro-82M (82 млн параметров), которую разворачивают в собственном контейнере на real-time эндпоинте Amazon SageMaker AI через AWS CDK. Первое число называется Q_max: это наибольшее число запросов, одновременно стоящих в очереди и выполняющихся на одном инстансе, при котором 95% запросов всё ещё получают первый аудиобайт в пределах SLO в 3000 мс. Второе — T_total: сколько реального времени проходит от запроса новой мощности до момента, когда она обслуживает трафик без сбоев.
Что известно по теме: почему стандартные метрики не подходят?
Большинство гайдов по автоскейлингу рассчитаны на короткие синхронные запросы или на LLM, где удобная метрика — токены в секунду. У Kokoro-82M нет цикла генерации токенов: модель выдаёт фразу за один проход, а запрос держит соединение несколько секунд. Поэтому масштабируются по ConcurrentRequestsPerModel — метрике, которую SageMaker публикует сам. Так исключён сценарий, когда кастомная метрика настроена на бумаге, а данные в неё не приходят.
Что известно по теме: сколько на самом деле растёт парк?
T_total замеряли, принудительно запустив scale-out в обход политики и отметив время каждой стадии. Дольше всего, 180,8 секунды (56,5% общего времени), проходит от установки желаемой ёмкости до появления инстанса в логах. Ещё 47,4 секунды (14,8%) уходит на восстановление трафика после ввода в работу, 30 секунд (9,4%) — на сам запрос мощности, 20,7 секунды (6,5%) — на переход в in_service. Загрузка весов занимает 6,5 секунды, прогрев — 1 секунду. Итого на масштабирование уходит около 320 секунд.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.