AWS дала писать свой цикл дообучения моделей без управления GPU
Дообучать открытые модели под свой бизнес сложно: нужно выбирать технику, поднимать GPU-кластеры и вручную связывать обучение с генерацией ответов. AWS сделала общедоступными training sessions в SageMaker AI: вы пишете цикл обучения, функцию награды и свой лосс, а GPU, распределённый запуск и чекпоинты ведёт сервис. Поддерживаются gpt-oss-20b, gemma-4-31B-it и две модели Qwen на 27B. Для команд с агентами это способ попробовать RL без собственной инфраструктуры.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Компании, которые получают от ИИ реальный результат, редко берут базовую модель как есть. Они дообучают открытые модели на своих данных: каталоге товаров, медицинской лексике, внутренних процессах. Такая модель точнее решает узкую задачу и обходится дешевле в эксплуатации. Но сам процесс остаётся мучительным: нужно выбрать метод, арендовать и настроить GPU, а для агентов ещё и построить среду для многошагового обучения с подкреплением. AWS предлагает убрать часть этой боли: сервис training sessions в Amazon SageMaker AI вышел в общий доступ.
Что именно запустили
Раньше в serverless-кастомизации SageMaker вы выбирали готовую технику, например SFT, DPO, RLVR, RLAIF или многошаговый RL. Можно было менять долю обновляемых весов (LoRA или полное дообучение) и выстраивать методы в цепочку. Но клиенты просили больше свободы: свои функции потерь (loss), собственную форму награды, несколько RL-стадий в одном цикле.
Training sessions дают такую возможность. Вы пишете цикл обучения и функцию награды у себя в среде, подключаете агента к его инструментам или симуляторам. Всю тяжёлую работу на GPU делает AWS: выделяет мощности, запускает распределённое обучение, восстанавливается после сбоев и хранит чекпоинты. Типы инстансов выбирать и кластеры настраивать не нужно.
Как выглядит цикл на примере GRPO
GRPO — метод RL, при котором модель генерирует несколько ответов на один и тот же запрос, каждый ответ оценивается, а обновление весов строится на сравнении ответов между собой. В training sessions один проход выглядит так:
- Ваш код просит сэмплер сгенерировать несколько ответов на каждый запрос текущей моделью.
- Ваша функция награды оценивает их у вас: через верификатор, reward-модель или набор тестов.
- Оценки уходят тренеру. Вызов forward_backward() считает градиенты, optim_step() применяет обновление к весам.
- Вы просите сессию обновить сэмплер новыми весами и запускаете следующий пакет.
Это удобно для агентов, которые бронируют поездки, разбирают тикеты поддержки или ведут многошаговое исследование. Результат такого агента понятен только после нескольких раундов взаимодействия, а обычно обучение, генерация и оценка живут на разных кластерах. Здесь они собраны в один цикл.
Оплата идёт за токены, которые обработал SageMaker AI. Пока ваша функция награды оценивает пакет у вас в среде, счётчик не тикает. Резервировать мощности не нужно.
Кто уже пробовал и что с данными
AWS приводит два отзыва. ImagineSoftware строит модель для сортировки отказов по медицинским страховым выплатам и хвалит прямой доступ к прямому и обратному проходу, сэмплированию и шагу оптимизатора. Karini AI дообучила gpt-oss-20b вызывать инструменты в многошаговом режиме поверх графа знаний Amazon Neptune. Её CEO отдельно выделил возобновление обучения с точного шага. Это отзывы партнёров из пресс-релиза, независимых замеров качества или стоимости в материале нет.
По безопасности: сессия работает под вашей IAM-ролью, можно подключить свой ключ KMS и настройки VPC. Данные и чекпоинты лежат в ваших бакетах S3 в выбранном регионе. AWS заявляет, что не использует ваши данные и веса для обучения других моделей. Перед выкаткой модель можно проверить на точность, смещения и безопасность, а после — включить guardrails и мониторинг через CloudWatch.
С чего начать и что учесть
Поддерживаются gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B и Qwen3.8-27B. Начать можно двумя путями: поставить SageMaker Python SDK (Linux или macOS, Python 3.10–3.12) и склонировать cookbook либо открыть готовую среду в SageMaker Studio, которая, по словам AWS, запускается меньше чем за 20 секунд. Там же можно подключить кодового агента (Kiro, Claude Code, Codex или Copilot) с набором навыков по кастомизации: он поможет подготовить данные, выбрать технику, обучить, оценить и задеплоить модель.
Ограничения очевидны. Список моделей пока короткий и ограничен средним размером до 31B. Цикл вы пишете сами, так что придётся разбираться в RL и аккуратно проектировать награды: сервис снимает инфраструктурные заботы, но не качество вашей функции оценки. Для команд, которые хотят проверить RL на агентах, не покупая GPU и не нанимая инженеров по кластерам, это быстрый способ начать эксперименты.
- 21 нояб. 2026 г.AG-UI 1.0 даёт ИИ-агентам единый язык для связи с приложением: 31 тип событий
- 21 нояб. 2026 г.OpenAI запустила ChatGPT Wallet: агенты покупают, не видя номер карты
- 21 нояб. 2026 г.США вложили в рекламу ChatGPT $70,7 млн за октябрь — на 127% больше, чем в апреле
- 21 нояб. 2026 г.ONNX Runtime пропал с GitHub: Microsoft скрыла репозитории после взлома пакета
Вопросы и ответы по материалу
Что известно по теме: что именно запустили?
Раньше в serverless-кастомизации SageMaker вы выбирали готовую технику, например SFT, DPO, RLVR, RLAIF или многошаговый RL. Можно было менять долю обновляемых весов (LoRA или полное дообучение) и выстраивать методы в цепочку. Но клиенты просили больше свободы: свои функции потерь (loss), собственную форму награды, несколько RL-стадий в одном цикле. Training sessions дают такую возможность. Вы пишете цикл обучения и функцию награды у себя в среде, подключаете агента к его инструментам или симуляторам.
Что известно по теме: как выглядит цикл на примере GRPO?
GRPO — метод RL, при котором модель генерирует несколько ответов на один и тот же запрос, каждый ответ оценивается, а обновление весов строится на сравнении ответов между собой. В training sessions один проход выглядит так: Ваш код просит сэмплер сгенерировать несколько ответов на каждый запрос текущей моделью. Ваша функция награды оценивает их у вас: через верификатор, reward-модель или набор тестов. Оценки уходят тренеру. Вызов forward_backward() считает градиенты, optim_step() применяет обновление к весам.
Что известно по теме: кто уже пробовал и что с данными?
AWS приводит два отзыва. ImagineSoftware строит модель для сортировки отказов по медицинским страховым выплатам и хвалит прямой доступ к прямому и обратному проходу, сэмплированию и шагу оптимизатора. Karini AI дообучила gpt-oss-20b вызывать инструменты в многошаговом режиме поверх графа знаний Amazon Neptune. Её CEO отдельно выделил возобновление обучения с точного шага. Это отзывы партнёров из пресс-релиза, независимых замеров качества или стоимости в материале нет.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.