Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

AWS дала писать свой цикл дообучения моделей без управления GPU

Дообучать открытые модели под свой бизнес сложно: нужно выбирать технику, поднимать GPU-кластеры и вручную связывать обучение с генерацией ответов. AWS сделала общедоступными training sessions в SageMaker AI: вы пишете цикл обучения, функцию награды и свой лосс, а GPU, распределённый запуск и чекпоинты ведёт сервис. Поддерживаются gpt-oss-20b, gemma-4-31B-it и две модели Qwen на 27B. Для команд с агентами это способ попробовать RL без собственной инфраструктуры.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS дала писать свой цикл дообучения моделей без управления GPU
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Платите за токены, пока награда считается у вас, счётчик стоит
Ключевой факт #2Доступны gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B и Qwen3.8-27B
Ключевой факт #3Данные и чекпоинты лежат в вашем S3, AWS на них не учится

Компании, которые получают от ИИ реальный результат, редко берут базовую модель как есть. Они дообучают открытые модели на своих данных: каталоге товаров, медицинской лексике, внутренних процессах. Такая модель точнее решает узкую задачу и обходится дешевле в эксплуатации. Но сам процесс остаётся мучительным: нужно выбрать метод, арендовать и настроить GPU, а для агентов ещё и построить среду для многошагового обучения с подкреплением. AWS предлагает убрать часть этой боли: сервис training sessions в Amazon SageMaker AI вышел в общий доступ.

Что именно запустили

Раньше в serverless-кастомизации SageMaker вы выбирали готовую технику, например SFT, DPO, RLVR, RLAIF или многошаговый RL. Можно было менять долю обновляемых весов (LoRA или полное дообучение) и выстраивать методы в цепочку. Но клиенты просили больше свободы: свои функции потерь (loss), собственную форму награды, несколько RL-стадий в одном цикле.

Training sessions дают такую возможность. Вы пишете цикл обучения и функцию награды у себя в среде, подключаете агента к его инструментам или симуляторам. Всю тяжёлую работу на GPU делает AWS: выделяет мощности, запускает распределённое обучение, восстанавливается после сбоев и хранит чекпоинты. Типы инстансов выбирать и кластеры настраивать не нужно.

Как выглядит цикл на примере GRPO

GRPO — метод RL, при котором модель генерирует несколько ответов на один и тот же запрос, каждый ответ оценивается, а обновление весов строится на сравнении ответов между собой. В training sessions один проход выглядит так:

  1. Ваш код просит сэмплер сгенерировать несколько ответов на каждый запрос текущей моделью.
  2. Ваша функция награды оценивает их у вас: через верификатор, reward-модель или набор тестов.
  3. Оценки уходят тренеру. Вызов forward_backward() считает градиенты, optim_step() применяет обновление к весам.
  4. Вы просите сессию обновить сэмплер новыми весами и запускаете следующий пакет.

Это удобно для агентов, которые бронируют поездки, разбирают тикеты поддержки или ведут многошаговое исследование. Результат такого агента понятен только после нескольких раундов взаимодействия, а обычно обучение, генерация и оценка живут на разных кластерах. Здесь они собраны в один цикл.

Оплата идёт за токены, которые обработал SageMaker AI. Пока ваша функция награды оценивает пакет у вас в среде, счётчик не тикает. Резервировать мощности не нужно.

Кто уже пробовал и что с данными

AWS приводит два отзыва. ImagineSoftware строит модель для сортировки отказов по медицинским страховым выплатам и хвалит прямой доступ к прямому и обратному проходу, сэмплированию и шагу оптимизатора. Karini AI дообучила gpt-oss-20b вызывать инструменты в многошаговом режиме поверх графа знаний Amazon Neptune. Её CEO отдельно выделил возобновление обучения с точного шага. Это отзывы партнёров из пресс-релиза, независимых замеров качества или стоимости в материале нет.

По безопасности: сессия работает под вашей IAM-ролью, можно подключить свой ключ KMS и настройки VPC. Данные и чекпоинты лежат в ваших бакетах S3 в выбранном регионе. AWS заявляет, что не использует ваши данные и веса для обучения других моделей. Перед выкаткой модель можно проверить на точность, смещения и безопасность, а после — включить guardrails и мониторинг через CloudWatch.

С чего начать и что учесть

Поддерживаются gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B и Qwen3.8-27B. Начать можно двумя путями: поставить SageMaker Python SDK (Linux или macOS, Python 3.10–3.12) и склонировать cookbook либо открыть готовую среду в SageMaker Studio, которая, по словам AWS, запускается меньше чем за 20 секунд. Там же можно подключить кодового агента (Kiro, Claude Code, Codex или Copilot) с набором навыков по кастомизации: он поможет подготовить данные, выбрать технику, обучить, оценить и задеплоить модель.

Ограничения очевидны. Список моделей пока короткий и ограничен средним размером до 31B. Цикл вы пишете сами, так что придётся разбираться в RL и аккуратно проектировать награды: сервис снимает инфраструктурные заботы, но не качество вашей функции оценки. Для команд, которые хотят проверить RL на агентах, не покупая GPU и не нанимая инженеров по кластерам, это быстрый способ начать эксперименты.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно запустили?

Раньше в serverless-кастомизации SageMaker вы выбирали готовую технику, например SFT, DPO, RLVR, RLAIF или многошаговый RL. Можно было менять долю обновляемых весов (LoRA или полное дообучение) и выстраивать методы в цепочку. Но клиенты просили больше свободы: свои функции потерь (loss), собственную форму награды, несколько RL-стадий в одном цикле. Training sessions дают такую возможность. Вы пишете цикл обучения и функцию награды у себя в среде, подключаете агента к его инструментам или симуляторам.

Что известно по теме: как выглядит цикл на примере GRPO?

GRPO — метод RL, при котором модель генерирует несколько ответов на один и тот же запрос, каждый ответ оценивается, а обновление весов строится на сравнении ответов между собой. В training sessions один проход выглядит так: Ваш код просит сэмплер сгенерировать несколько ответов на каждый запрос текущей моделью. Ваша функция награды оценивает их у вас: через верификатор, reward-модель или набор тестов. Оценки уходят тренеру. Вызов forward_backward() считает градиенты, optim_step() применяет обновление к весам.

Что известно по теме: кто уже пробовал и что с данными?

AWS приводит два отзыва. ImagineSoftware строит модель для сортировки отказов по медицинским страховым выплатам и хвалит прямой доступ к прямому и обратному проходу, сэмплированию и шагу оптимизатора. Karini AI дообучила gpt-oss-20b вызывать инструменты в многошаговом режиме поверх графа знаний Amazon Neptune. Её CEO отдельно выделил возобновление обучения с точного шага. Это отзывы партнёров из пресс-релиза, независимых замеров качества или стоимости в материале нет.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…