Amazon SageMaker HyperPod начал сохранять боевые запросы к LLM в S3 на трёх уровнях
Модель в продакшене встречает то, чего не было в тестах: новые товары и жаргон. Amazon SageMaker HyperPod (сервис AWS для моделей на GPU-кластерах) теперь сохраняет живые запросы и ответы в хранилище S3 на трёх уровнях: endpoint, балансировщик и под модели. В демо роутер заявок не знал про новые кондиционеры, пробел нашли в Athena и закрыли дообучением. Поэтому запись трафика лучше включить до первого дрейфа.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте бота техподдержки магазина бытовой техники. Вчера он идеально сортировал обращения про холодильники и стиральные машины, а сегодня магазин выпустил кондиционеры, и бот не знает, что с ними делать. Заранее собранные тесты этого не покажут: они сделаны до запуска нового продукта. Увидеть проблему можно только в реальных запросах пользователей, а их нужно где-то хранить. Для этого AWS добавила в Amazon SageMaker HyperPod функцию Data Capture. HyperPod — сервис AWS для запуска и дообучения моделей на GPU-кластерах. Data Capture записывает входящие запросы и ответы работающей модели в S3, то есть в облачное хранилище Amazon. По данным AWS, задержка при этом минимальная, а доступность модели не страдает.
Три уровня записи: что именно сохраняется
Функция включается блоком dataCapture в конфигурации. Записывать можно в трёх независимых точках пути запроса, и любые из них можно комбинировать.
Первый уровень — endpoint SageMaker, то есть точка входа модели. Здесь сохраняются полные запросы и ответы через встроенный механизм SageMaker. Он нужен для комплаенса, аудита и сервиса Model Monitor.
Второй уровень — балансировщик нагрузки ALB. Он пишет только поля access-логов: строку запроса, коды ответа, тайминги, IP клиента и user agent. Текстов диалогов там нет. Зато это дешёвый способ следить за трафиком и долей ошибок.
Третий уровень — под модели, контейнерная группа в Kubernetes. Оператор инференса HyperPod добавляет к нему три вспомогательных контейнера: прокси NGINX, коллектор OpenTelemetry и загрузчик в S3. В бакет попадают полные запросы и ответы плюс метаданные событий. Этот уровень выбирают для отладки, аналитики и сбора обучающих данных.
Важная оговорка: уровни 1 и 3 оба хранят полные тексты. Если включить оба, каждая запись окажется в S3 дважды. Поэтому AWS советует выбирать уровень под задачу: первый для комплаенса, второй для метрик трафика, третий для работы с содержимым.
Как это работает на примере роутера заявок
Сценарий в статье придуман, данные синтетические. Модель Qwen2.5-3B-Instruct работает роутером тикетов: относит обращение к одной из категорий — холодильник, стиральная машина, духовка, посудомойка, микроволновка или «Другое». Затем магазин запускает линейку кондиционеров Arctis, а роутер про неё не знает и подбирает ближайшую знакомую категорию.
Дальше — цепочка из пяти шагов на одном кластере, которую AWS называет «маховиком» улучшения модели:
- Записать все запросы и ответы в S3.
- Проанализировать записи SQL-запросами в Athena — сервисе, который читает файлы прямо из S3.
- Разметить записи SQL-политикой.
- Дообучить модель на втором GPU через training operator.
- Развернуть новую версию рядом со старой, оставив запись включённой.
В демо через роутер прогоняют 900 заявок за 15 минут. Оценочный набор состоит из 280 размеченных примеров. Точность замеряют до и после дообучения на данных, которых на момент первого деплоя существовать не могло.
Для демо нужны два GPU: один обслуживает модель, второй её дообучает. Авторы взяли ml.g6e.8xlarge и ml.g6e.xlarge, на каждом по одному NVIDIA L40S на 48 ГБ. Под обслуживания держит свой GPU всё время жизни endpoint. Поэтому на единственном GPU обучающий под зависнет в статусе Pending.
На что обратить внимание при внедрении
- Запросы нужно слать на порт 8081, где стоит прокси записи. Сама модель слушает порт 8000, и вызовы напрямую в него в S3 не попадут.
- По умолчанию записывается 100% запросов. Это можно снизить через семплирование, ограничить размер payload и задать ключ шифрования KMS. Буфер по умолчанию на 10 записей сбрасывается раз в 60 секунд.
- Если endpoint здоров, а файлов в S3 нет, сначала проверьте IAM-роль драйвера Mountpoint-S3 CSI. Файлы пишет он, а не сервисный аккаунт пода.
- Тела запросов и ответов лежат в формате SageMaker data capture в кодировке base64. Перед разбором их нужно декодировать.
Приватность и ограничения
Третий уровень сохраняет полные тексты, а в них встречаются имена, адреса и номера заказов. Прежде чем превращать записи в обучающие данные, защитите их. AWS предлагает семплирование, шифрование через KMS (сервис управления ключами), правила жизненного цикла S3 и маскировку персональных данных, например через Amazon Comprehend.
Сам пример построен на синтетике и небольшой модели на 3 миллиарда параметров. На живом трафике и крупных моделях результат будет зависеть от качества разметки и объёма данных.
Практический вывод для команд на HyperPod: запись трафика лучше включить заранее. Когда пользователи принесут что-то новое, у вас сразу будут и доказательство проблемы, и материал для дообучения.
- 21 нояб. 2026 г.GS Caltex ускорила запуск ML-моделей в работу с недели до нескольких часов
- 21 нояб. 2026 г.Amazon открыла SGLang-Neuron: gpt-oss-120b запускается на чипах Trainium без смены API
- 21 нояб. 2026 г.AWS дала агентам навык общего кэша для LLM: до 40% дешевле, первый ответ быстрее на 80%
- 21 нояб. 2026 г.Калифорния запретила роботакси Waymo на всех автострадах из-за зон ремонта
Вопросы и ответы по материалу
Что известно по теме: три уровня записи: что именно сохраняется?
Функция включается блоком dataCapture в конфигурации. Записывать можно в трёх независимых точках пути запроса, и любые из них можно комбинировать. Первый уровень — endpoint SageMaker, то есть точка входа модели. Здесь сохраняются полные запросы и ответы через встроенный механизм SageMaker. Он нужен для комплаенса, аудита и сервиса Model Monitor. Второй уровень — балансировщик нагрузки ALB. Он пишет только поля access-логов: строку запроса, коды ответа, тайминги, IP клиента и user agent. Текстов диалогов там нет.
Что известно по теме: как это работает на примере роутера заявок?
Сценарий в статье придуман, данные синтетические. Модель Qwen2.5-3B-Instruct работает роутером тикетов: относит обращение к одной из категорий — холодильник, стиральная машина, духовка, посудомойка, микроволновка или «Другое». Затем магазин запускает линейку кондиционеров Arctis, а роутер про неё не знает и подбирает ближайшую знакомую категорию. Дальше — цепочка из пяти шагов на одном кластере, которую AWS называет «маховиком» улучшения модели: Записать все запросы и ответы в S3.
Что известно по теме: на что обратить внимание при внедрении?
Запросы нужно слать на порт 8081, где стоит прокси записи. Сама модель слушает порт 8000, и вызовы напрямую в него в S3 не попадут. По умолчанию записывается 100% запросов. Это можно снизить через семплирование, ограничить размер payload и задать ключ шифрования KMS. Буфер по умолчанию на 10 записей сбрасывается раз в 60 секунд. Если endpoint здоров, а файлов в S3 нет, сначала проверьте IAM-роль драйвера Mountpoint-S3 CSI. Файлы пишет он, а не сервисный аккаунт пода.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.