Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

AWS даёт писать свой цикл обучения LLM и платить за токены, а не за часы аренды GPU

Чтобы дообучить языковую модель (LLM) по-своему, обычно приходится самому держать кластер видеокарт (GPU). Amazon SageMaker AI предлагает иначе: цикл обучения вы пишете на Python у себя, а GPU, сбои и распределённый запуск берёт на себя AWS. Платят за обработанные токены, а не за часы аренды: пока ваш код 10 секунд проверяет ответы, GPU не тарифицируются. Подходит, если нужны своя награда или нестандартный лосс без администрирования железа.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS даёт писать свой цикл обучения LLM и платить за токены, а не за часы аренды GPU
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Модель остаётся загруженной на GPU между шагами цикла
Пример на GSM8Kоколо 8500 школьных задач по математике
Ключевой факт #3Обучают LoRA-адаптер для GPT-OSS 20B методом GRPO

Представьте, что вы дообучаете языковую модель (LLM) и вам нужна своя функция награды: например, код, который запускает ответы модели против юнит-тестов и ставит оценку. Готовые управляемые сервисы такого не умеют, а значит, придётся самому поднимать кластер видеокарт (GPU), настраивать фреймворки и следить, чтобы всё не упало посреди ночи. Amazon SageMaker AI теперь предлагает третий вариант: API обучающих сессий (training session APIs). Цикл обучения вы пишете сами на Python, а аренду и обслуживание вычислений берёт на себя AWS.

Что именно прячет AWS

Раньше управляемые сервисы скрывали от пользователя сам алгоритм: выбираешь модель, загружаешь данные, задаёшь гиперпараметры. Здесь скрыты вычисления, а алгоритм остаётся вашим. Базовые операции обучения превращены в вызовы API: forward_backward() считает, как нужно изменить веса, optim_step() применяет это изменение, sample() генерирует ответы модели. Из этих кубиков вы собираете любую процедуру: обычное дообучение на размеченных примерах (SFT), оптимизацию предпочтений, обучение с подкреплением (RL) или новый метод, опубликованный на прошлой неделе.

Код работает на вашей машине, а вызовы уходят в живую сессию с GPU, где уже загружены базовая модель и LoRA-адаптер (небольшая надстройка, которую и обучают). Модель остаётся в памяти между шагами. Распределённый запуск, синхронизацию градиентов, восстановление после сбоев и изоляцию клиентов обеспечивает сервис. Кроме того, активная сессия отдаёт эндпоинт, совместимый с OpenAI chat completions, поэтому существующий клиентский код можно направить на обучаемую модель.

В SageMaker Python SDK три клиента. ServiceClient хранит настройки платформы: роль доступа, место для результатов в S3 и при необходимости ключ KMS и конфигурацию VPC. Он создаёт TrainingClient для обучения и сохранения чекпойнтов, а тот создаёт SamplingClient для генерации и оценки ответов.

Как это выглядит на задаче со школьной математикой

AWS разбирает минимальный пример на GSM8K. Это набор примерно из 8500 школьных текстовых задач по математике, у каждой один числовой ответ. Например: Наталья продала скрепки 48 друзьям в апреле, а в мае вдвое меньше, сколько всего? Ответ: 72. Обучают LoRA-адаптер для GPT-OSS 20B методом GRPO. На каждый вопрос модель выдаёт несколько вариантов ответа, каждый проверяется на правильность, а те, что лучше среднего по группе, закрепляются.

Шаг цикла состоит из четырёх частей. Сначала на GPU генерируются ответы. Затем ваш код на ноутбуке оценивает их: 1, если число совпало с эталоном, иначе 0. После этого на GPU выполняются forward_backward и optim_step. В конце обновляется генератор, чтобы следующий шаг брал ответы уже у улучшенной модели. Данные, управление циклом и награда остаются у вас, а всё, что требует видеокарт, делает SageMaker.

Тот же набор операций подходит и для обычного SFT: убираете генерацию и награду, считаете cross_entropy на размеченных примерах. Вместе с сервисом AWS выпустила cookbook, набор готовых рецептов SFT и RL. Самый показательный из них учит модель решать олимпиадные задачи по программированию: сгенерированный код запускается против юнит-тестов, и результат становится наградой.

Деньги и кому это нужно

Главная практическая деталь касается оплаты. Платят за обработанные токены, а не за часы работы GPU. Если ваша функция награды десять секунд проверяет батч у вас на машине, видеокарты в это время не тарифицируются. Простоя на счёте нет: загрузка данных, логирование и отладка идут бесплатно для GPU-бюджета. Расходы зависят от объёма данных и генерации, а не от времени на часах и размера кластера, поэтому их проще прогнозировать, а эксперименты проще сравнивать. Особенно выгодно там, где много локальных вычислений: сложные модели награды, агентные прогоны с несколькими инструментами, проверка человеком.

Сервис адресован исследователям пост-обучения, командам с нестандартным лоссом или многоэтапным пайплайном, разработчикам агентного RL и ML-инженерам, которые переросли конфигурационные рецепты, но не хотят администрировать кластеры. Для полного контроля над железом остаются SageMaker Training Jobs и HyperPod.

Ограничения тоже есть. Обучение идёт через LoRA-адаптеры, список поддерживаемых моделей и регионов нужно смотреть в документации, а описание сервиса дано самой AWS без независимых замеров. Если вам нужен просто стандартный рецепт, управляемая кастомизация проще. А если вы упираетесь в собственный алгоритм, а не в железо, этот подход стоит попробовать.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно прячет AWS?

Раньше управляемые сервисы скрывали от пользователя сам алгоритм: выбираешь модель, загружаешь данные, задаёшь гиперпараметры. Здесь скрыты вычисления, а алгоритм остаётся вашим. Базовые операции обучения превращены в вызовы API: forward_backward() считает, как нужно изменить веса, optim_step() применяет это изменение, sample() генерирует ответы модели.

Что известно по теме: как это выглядит на задаче со школьной математикой?

AWS разбирает минимальный пример на GSM8K. Это набор примерно из 8500 школьных текстовых задач по математике, у каждой один числовой ответ. Например: Наталья продала скрепки 48 друзьям в апреле, а в мае вдвое меньше, сколько всего? Ответ: 72. Обучают LoRA-адаптер для GPT-OSS 20B методом GRPO. На каждый вопрос модель выдаёт несколько вариантов ответа, каждый проверяется на правильность, а те, что лучше среднего по группе, закрепляются. Шаг цикла состоит из четырёх частей. Сначала на GPU генерируются ответы.

Что известно по теме: деньги и кому это нужно?

Главная практическая деталь касается оплаты. Платят за обработанные токены, а не за часы работы GPU. Если ваша функция награды десять секунд проверяет батч у вас на машине, видеокарты в это время не тарифицируются. Простоя на счёте нет: загрузка данных, логирование и отладка идут бесплатно для GPU-бюджета. Расходы зависят от объёма данных и генерации, а не от времени на часах и размера кластера, поэтому их проще прогнозировать, а эксперименты проще сравнивать.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…