Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

Amazon SageMaker HyperPod начал сохранять боевые запросы к LLM в S3 на трёх уровнях

Модель в продакшене встречает то, чего не было в тестах: новые товары и жаргон. Amazon SageMaker HyperPod (сервис AWS для моделей на GPU-кластерах) теперь сохраняет живые запросы и ответы в хранилище S3 на трёх уровнях: endpoint, балансировщик и под модели. В демо роутер заявок не знал про новые кондиционеры, пробел нашли в Athena и закрыли дообучением. Поэтому запись трафика лучше включить до первого дрейфа.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Amazon SageMaker HyperPod начал сохранять боевые запросы к LLM в S3 на трёх уровнях
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Уровни 1 и 3 хранят полные тексты, при включении обоих записи дублируются
Демо900 заявок за 15 минут, оценочный набор — 280 примеров
В записях бывают имена и адресанужны шифрование KMS и маскировка

Представьте бота техподдержки магазина бытовой техники. Вчера он идеально сортировал обращения про холодильники и стиральные машины, а сегодня магазин выпустил кондиционеры, и бот не знает, что с ними делать. Заранее собранные тесты этого не покажут: они сделаны до запуска нового продукта. Увидеть проблему можно только в реальных запросах пользователей, а их нужно где-то хранить. Для этого AWS добавила в Amazon SageMaker HyperPod функцию Data Capture. HyperPod — сервис AWS для запуска и дообучения моделей на GPU-кластерах. Data Capture записывает входящие запросы и ответы работающей модели в S3, то есть в облачное хранилище Amazon. По данным AWS, задержка при этом минимальная, а доступность модели не страдает.

Три уровня записи: что именно сохраняется

Функция включается блоком dataCapture в конфигурации. Записывать можно в трёх независимых точках пути запроса, и любые из них можно комбинировать.

Первый уровень — endpoint SageMaker, то есть точка входа модели. Здесь сохраняются полные запросы и ответы через встроенный механизм SageMaker. Он нужен для комплаенса, аудита и сервиса Model Monitor.

Второй уровень — балансировщик нагрузки ALB. Он пишет только поля access-логов: строку запроса, коды ответа, тайминги, IP клиента и user agent. Текстов диалогов там нет. Зато это дешёвый способ следить за трафиком и долей ошибок.

Третий уровень — под модели, контейнерная группа в Kubernetes. Оператор инференса HyperPod добавляет к нему три вспомогательных контейнера: прокси NGINX, коллектор OpenTelemetry и загрузчик в S3. В бакет попадают полные запросы и ответы плюс метаданные событий. Этот уровень выбирают для отладки, аналитики и сбора обучающих данных.

Важная оговорка: уровни 1 и 3 оба хранят полные тексты. Если включить оба, каждая запись окажется в S3 дважды. Поэтому AWS советует выбирать уровень под задачу: первый для комплаенса, второй для метрик трафика, третий для работы с содержимым.

Как это работает на примере роутера заявок

Сценарий в статье придуман, данные синтетические. Модель Qwen2.5-3B-Instruct работает роутером тикетов: относит обращение к одной из категорий — холодильник, стиральная машина, духовка, посудомойка, микроволновка или «Другое». Затем магазин запускает линейку кондиционеров Arctis, а роутер про неё не знает и подбирает ближайшую знакомую категорию.

Дальше — цепочка из пяти шагов на одном кластере, которую AWS называет «маховиком» улучшения модели:

  1. Записать все запросы и ответы в S3.
  2. Проанализировать записи SQL-запросами в Athena — сервисе, который читает файлы прямо из S3.
  3. Разметить записи SQL-политикой.
  4. Дообучить модель на втором GPU через training operator.
  5. Развернуть новую версию рядом со старой, оставив запись включённой.

В демо через роутер прогоняют 900 заявок за 15 минут. Оценочный набор состоит из 280 размеченных примеров. Точность замеряют до и после дообучения на данных, которых на момент первого деплоя существовать не могло.

Для демо нужны два GPU: один обслуживает модель, второй её дообучает. Авторы взяли ml.g6e.8xlarge и ml.g6e.xlarge, на каждом по одному NVIDIA L40S на 48 ГБ. Под обслуживания держит свой GPU всё время жизни endpoint. Поэтому на единственном GPU обучающий под зависнет в статусе Pending.

На что обратить внимание при внедрении

  • Запросы нужно слать на порт 8081, где стоит прокси записи. Сама модель слушает порт 8000, и вызовы напрямую в него в S3 не попадут.
  • По умолчанию записывается 100% запросов. Это можно снизить через семплирование, ограничить размер payload и задать ключ шифрования KMS. Буфер по умолчанию на 10 записей сбрасывается раз в 60 секунд.
  • Если endpoint здоров, а файлов в S3 нет, сначала проверьте IAM-роль драйвера Mountpoint-S3 CSI. Файлы пишет он, а не сервисный аккаунт пода.
  • Тела запросов и ответов лежат в формате SageMaker data capture в кодировке base64. Перед разбором их нужно декодировать.

Приватность и ограничения

Третий уровень сохраняет полные тексты, а в них встречаются имена, адреса и номера заказов. Прежде чем превращать записи в обучающие данные, защитите их. AWS предлагает семплирование, шифрование через KMS (сервис управления ключами), правила жизненного цикла S3 и маскировку персональных данных, например через Amazon Comprehend.

Сам пример построен на синтетике и небольшой модели на 3 миллиарда параметров. На живом трафике и крупных моделях результат будет зависеть от качества разметки и объёма данных.

Практический вывод для команд на HyperPod: запись трафика лучше включить заранее. Когда пользователи принесут что-то новое, у вас сразу будут и доказательство проблемы, и материал для дообучения.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: три уровня записи: что именно сохраняется?

Функция включается блоком dataCapture в конфигурации. Записывать можно в трёх независимых точках пути запроса, и любые из них можно комбинировать. Первый уровень — endpoint SageMaker, то есть точка входа модели. Здесь сохраняются полные запросы и ответы через встроенный механизм SageMaker. Он нужен для комплаенса, аудита и сервиса Model Monitor. Второй уровень — балансировщик нагрузки ALB. Он пишет только поля access-логов: строку запроса, коды ответа, тайминги, IP клиента и user agent. Текстов диалогов там нет.

Что известно по теме: как это работает на примере роутера заявок?

Сценарий в статье придуман, данные синтетические. Модель Qwen2.5-3B-Instruct работает роутером тикетов: относит обращение к одной из категорий — холодильник, стиральная машина, духовка, посудомойка, микроволновка или «Другое». Затем магазин запускает линейку кондиционеров Arctis, а роутер про неё не знает и подбирает ближайшую знакомую категорию. Дальше — цепочка из пяти шагов на одном кластере, которую AWS называет «маховиком» улучшения модели: Записать все запросы и ответы в S3.

Что известно по теме: на что обратить внимание при внедрении?

Запросы нужно слать на порт 8081, где стоит прокси записи. Сама модель слушает порт 8000, и вызовы напрямую в него в S3 не попадут. По умолчанию записывается 100% запросов. Это можно снизить через семплирование, ограничить размер payload и задать ключ шифрования KMS. Буфер по умолчанию на 10 записей сбрасывается раз в 60 секунд. Если endpoint здоров, а файлов в S3 нет, сначала проверьте IAM-роль драйвера Mountpoint-S3 CSI. Файлы пишет он, а не сервисный аккаунт пода.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…