AWS показала инфраструктуру для multi-turn RL-обучения модели Amazon Nova

AWS Machine Learning Blog опубликовал инструкцию по развёртыванию двухфазной инфраструктуры для multi-turn reinforcement learning (RL) модели Amazon Nova с использованием Amazon Nova Forge на платформе Amazon SageMaker HyperPod.

Как устроен пайплайн обучения

По итогам развёртывания получается event-driven, то есть управляемый событиями, пайплайн: обучение автоматически запускается в тот момент, когда пользователь загружает данные в бакет Amazon S3. В качестве демонстрационной задачи в материале модель обучают играть в словесную игру Wordle — авторы прямо называют это «заглушкой» (placeholder), которую читатель может заменить на собственную RL-задачу. Wordle удобен как учебный пример именно потому, что это простая игра с чётким, легко проверяемым результатом на каждом ходу — угадано слово или нет, — а значит, на её основе легко выстроить понятный сигнал вознаграждения для модели.

• Инфраструктура состоит из двух фаз и запускается автоматически по событию
• Триггером служит загрузка данных в бакет Amazon S3
• Обучение разворачивается на Amazon SageMaker HyperPod с использованием Amazon Nova Forge
• Демонстрационная задача — обучение модели игре в Wordle, которая служит лишь примером и может быть заменена на любую другую RL-задачу

Зачем нужен multi-turn RL

Multi-turn reinforcement learning — обучение модели через серию последовательных ходов или реплик с обратной связью, а не через генерацию одного изолированного ответа. Такой подход особенно важен для агентных ИИ-систем: моделям, которые должны планировать несколько шагов вперёд, менять стратегию по ходу диалога или игры и учиться на результате всей последовательности действий, а не отдельной реплики — например, ассистентам поддержки клиентов, торговым или игровым агентам и инструментам, вызывающим внешние API.

Amazon Nova — семейство базовых моделей, которое AWS представила как часть платформы Bedrock; Amazon Nova Forge в этом контексте выступает инструментом для их дообучения. Amazon SageMaker HyperPod, в свою очередь, — управляемая инфраструктура AWS для устойчивого распределённого обучения на больших кластерах GPU, рассчитанная на автоматическое восстановление после сбоев отдельных узлов без потери прогресса всего тренировочного запуска.

Event-driven архитектура здесь важна сама по себе: вместо того чтобы вручную запускать обучение каждый раз, когда появляются новые данные, пайплайн реагирует на сам факт загрузки файла в S3 и стартует тренировку автоматически. Это упрощает организацию непрерывного дообучения модели по мере поступления новых данных и снижает число ручных операций, необходимых команде для запуска очередного RL-цикла. Автоматическое восстановление кластера HyperPod после сбоя отдельных узлов, в свою очередь, снижает риск того, что многочасовой или многодневный тренировочный запуск придётся начинать заново из-за единичной аппаратной неполадки.

Что это значит

Публикация показывает, что AWS продолжает наращивать инструментарий для тонкой настройки собственных моделей Nova через reinforcement learning прямо на управляемой инфраструктуре — что конкурирует с аналогичными предложениями по RL-дообучению моделей у OpenAI, Google и Anthropic и облегчает клиентам создание собственных агентных ИИ-систем поверх Nova. Использование намеренно упрощённой игры вроде Wordle в качестве обучающего примера также показывает, что AWS ориентирует материал не только на исследовательские команды, но и на инженеров, которым нужен понятный отправной пример для собственных проектов.