Amazon SageMaker сама ищет простаивающие GPU и рост задержки у LLM-эндпоинтов
Рабочий LLM-эндпоинт со временем «уплывает»: промпты растут, GPU простаивают, а тревог нет, потому что ничего не сломалось. Amazon SageMaker AI теперь по умолчанию следит за эндпоинтами на vLLM и GPU и присылает уведомление через AWS Health. Сервис сравнивает медианную задержку и время до первого токена с прошлой неделей и ищет недогруженные GPU. Затем одним кликом запускается бенчмарк альтернатив, а продакшен не меняется без вашего решения.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Эндпоинт с LLM идеально настроен ровно в день запуска. Команда выбрала тип инстанса, параметры сервинга и автоскейлинг под тогдашний трафик, а потом переключилась на другие задачи. Но трафик меняется, промпты становятся длиннее, у vLLM выходят новые версии, появляются новые дообученные чекпойнты. Эндпоинт тихо «уплывает»: время до первого токена растёт, часть оптимизаций так и не включена, а дорогая GPU неделями простаивает. Ничего не падает, алерты молчат, и проблему замечают либо пользователи, либо финансовый отдел. Amazon SageMaker AI решила закрыть эту дыру.
Что именно теперь отслеживается
Мониторинг включён по умолчанию для эндпоинтов SageMaker AI, которые работают на контейнерах vLLM и GPU-инстансах. Настраивать ничего не нужно. Сервис смотрит только на операционные сигналы: задержку, загрузку GPU и конфигурацию сервинга. Содержимое запросов и ответов он не читает, а дополнительных расходов на GPU мониторинг не создаёт.
Находки бывают трёх типов:
- Дрейф задержки. Медианная (p50) сквозная задержка или время до первого токена выросли по сравнению с прошлой неделей. Сравнение идёт с собственной историей эндпоинта, поэтому порог задавать не надо.
- Неиспользуемая мощность. GPU, за которые вы платите, почти не загружены. В примере из AWS самая занятая GPU за неделю использовала не больше 12% ёмкости.
- Пробелы в конфигурации. Контейнер отстал от версии с ускорением и патчами безопасности (критические и высокие CVE). Или модель поддерживает спекулятивное декодирование либо настройку GPU-ядер, а эндпоинт их не использует.
Уведомление приходит через AWS Health и по почте, по одному на эндпоинт, сразу со всеми находками. Там написано, что заметили, почему это важно и что делать дальше. Оценки в тексте помечены как оценки: бенчмарк на этом этапе ещё не запускался.
От уведомления к решению
Одно нажатие открывает агентный интерфейс в SageMaker Studio, где эндпоинт и его недавний трафик уже подставлены. Агент пересказывает находку простыми словами и спрашивает подтверждение. После этого он генерирует ноутбук на SageMaker Python SDK, который создаёт задачу inference recommendation. Каждый шаг лежит в отдельной ячейке, так что код можно проверить и отредактировать до запуска.
Бенчмарки идут на отдельных мощностях и сравнивают текущую конфигурацию с альтернативами по времени ответа, пропускной способности и стоимости миллиона токенов. Что именно проверяют, зависит от находки:
- при дрейфе задержки: настройки тензорного параллелизма, другие типы и размеры инстансов;
- при простое GPU: более дешёвые и мелкие инстансы при наблюдаемом пике нагрузки;
- при отключённом спекулятивном декодировании: сравнение «с ним» и «без него»;
- при устаревшем контейнере: старая и обновлённая версии.
Продакшен не трогают, пока вы сами не примените результат. AWS советует катить изменение сначала на один вариант (production variant) и держать прежнюю конфигурацию для отката. «Оставить как есть» тоже считается нормальным исходом. Например, команда может решить, что запас по GPU нужен для запланированного роста, и не уменьшать инстанс.
Что с этим делать
Для команд, которые держат LLM в продакшене на SageMaker, это бесплатный слой контроля над расходами и качеством. Особенно он полезен, когда за эндпоинтом никто не следит каждый день: внутренние ассистенты, автодополнение кода, суммаризация. Типичный пример из статьи: после добавления RAG промпты стали длиннее, ответы начали приходить медленнее, а вручную настроенные алерты не сработали.
Есть и ограничения. Мониторинг работает только с vLLM-контейнерами и GPU-инстансами. Уведомления привязаны к региону, поэтому находки видны при входе в регион эндпоинта, а число уведомлений на аккаунт ограничено. Бенчмарки оплачиваются по обычным тарифам SageMaker или из вашего ML-резервирования, и нужна достаточная квота на тестовые инстансы. Результат также зависит от трафика: на пике и вне пика выигрыш, например от спекулятивного декодирования, может отличаться.
Если телеметрия вас не устраивает, эндпоинт можно исключить. Для этого в Environment-карте при CreateModel задаётся переменная OPT_OUT_TRACKING с любым значением. Тогда сервис не собирает метрики движка, метрики GPU и данные о стартовой конфигурации и ничего не присылает.
Практический вывод простой. Проверьте, какие ваши эндпоинты подпадают под мониторинг, настройте получение уведомлений в AWS User Notifications и заложите в процесс регулярный разбор находок, например раз в месяц.
- 20 нояб. 2026 г.AWS научила ИИ-агентов покупать API в Marketplace и платить через обычный счёт AWS
- 20 нояб. 2026 г.BMW для 12 500 разработчиков вынесла правила ИИ-агентов в CI/CD и общий реестр
- 19 нояб. 2026 г.Amazon и Google получат 28,4% Anthropic после IPO, но без права голоса
- 19 нояб. 2026 г.Social Department заменила неделю просмотра сериала четырьмя запросами QuickSearch на AWS
Вопросы и ответы по материалу
Что известно по теме: что именно теперь отслеживается?
Мониторинг включён по умолчанию для эндпоинтов SageMaker AI, которые работают на контейнерах vLLM и GPU-инстансах. Настраивать ничего не нужно. Сервис смотрит только на операционные сигналы: задержку, загрузку GPU и конфигурацию сервинга. Содержимое запросов и ответов он не читает, а дополнительных расходов на GPU мониторинг не создаёт. Находки бывают трёх типов: Дрейф задержки. Медианная (p50) сквозная задержка или время до первого токена выросли по сравнению с прошлой неделей.
Что известно по теме: от уведомления к решению?
Одно нажатие открывает агентный интерфейс в SageMaker Studio, где эндпоинт и его недавний трафик уже подставлены. Агент пересказывает находку простыми словами и спрашивает подтверждение. После этого он генерирует ноутбук на SageMaker Python SDK, который создаёт задачу inference recommendation. Каждый шаг лежит в отдельной ячейке, так что код можно проверить и отредактировать до запуска.
Что известно по теме: что с этим делать?
Для команд, которые держат LLM в продакшене на SageMaker, это бесплатный слой контроля над расходами и качеством. Особенно он полезен, когда за эндпоинтом никто не следит каждый день: внутренние ассистенты, автодополнение кода, суммаризация. Типичный пример из статьи: после добавления RAG промпты стали длиннее, ответы начали приходить медленнее, а вручную настроенные алерты не сработали. Есть и ограничения. Мониторинг работает только с vLLM-контейнерами и GPU-инстансами.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.