AWS и NVIDIA запустили масштабное обучение робота Unitree H1 на SageMaker AI

AWS совместно с NVIDIA показала полный пайплайн для обучения политик управления гуманоидным роботом Unitree H1 прямо в облаке — без собственного GPU-кластера.

Зачем облако для роботов

Reinforcement learning для физических роботов требует миллиардов шагов симуляции — это не преувеличение. Чтобы гуманоид научился идти вперёд без падений, нейросеть должна пройти через десятки миллиардов взаимодействий виртуального агента со средой. Делать это в реальном мире дорого и опасно: один неудачный эксперимент — потенциальный ремонт за тысячи долларов, а сам процесс занял бы годы вместо часов.

Именно поэтому отрасль делает ставку на физическую симуляцию. Гонка за «законом Мура для роботов» уже началась: Tesla, Figure, Boston Dynamics и десятки стартапов вкладывают сотни миллионов в создание синтетических сред для обучения. NVIDIA Isaac Lab — GPU-ускоренный симулятор, способный одновременно запускать тысячи копий виртуальной среды на одном узле.

Прежде его использовали преимущественно в крупных корпоративных и университетских лабораториях с дорогостоящим железом. Теперь Isaac Lab напрямую интегрирован с Amazon SageMaker AI. Это означает, что запрос на сотни GPU выполняется за минуты, а инженеру не нужно думать об инфраструктуре — только о коде политики и конфигурации задачи.

Два варианта запуска AWS предлагает два режима для разных сценариев использования: * **SageMaker

HyperPod — постоянный управляемый кластер; инфраструктура сохраняется между запусками, что удобно для многонедельных исследований и итеративного подбора гиперпараметров SageMaker Training Jobs — одноразовый managed-запуск; ресурсы выделяются строго под задачу и автоматически освобождаются по её завершении, что упрощает контроль бюджета Поддерживаются инстансы серии p4d и p5 с NVIDIA A100 и H100 соответственно Isaac Lab разворачивается в стандартном Docker-контейнере; веса модели и чекпоинты автоматически сохраняются в Amazon S3 Метрики обучения — reward, episode length, entropy loss — поступают в Amazon CloudWatch в реальном времени Ключевое преимущество обоих вариантов — снятие операционной нагрузки. Не нужно самостоятельно настраивать Kubernetes, управлять InfiniBand-сетью между узлами или вручную балансировать нагрузку между GPU.

Как проходит обучение

Unitree H1 Unitree H1 — один из наиболее доступных серийных гуманоидов: рост около 180 см, вес 47 кг, 19 степеней свободы. Это делает его популярной платформой для академических исследований в области управления движением. В симуляции Isaac Lab тысячи виртуальных копий этого робота параллельно учатся ходить через алгоритм Proximal Policy Optimization (PPO): падают, встают, корректируют баланс, получают вознаграждение за стабильное движение вперёд. Насколько точно функция вознаграждения описывает желаемое поведение — настолько качественной окажется обученная политика. На одном H100-узле Isaac Lab способен запускать до 4096 параллельных симуляций одновременно. При масштабировании на несколько узлов задействуется распределённое обучение через PyTorch DDP — синхронизация градиентов между GPU происходит автоматически.

«Масштабирование до сотен GPU через SageMaker сокращает время обучения с нескольких дней до нескольких часов», — отмечают авторы публикации в блоге AWS.

По завершении обученная политика экспортируется в форматы ONNX или TorchScript и может быть перенесена на реальное железо через NVIDIA Isaac ROS.

Что это значит

Облачный reinforcement learning для роботов выходит за рамки лабораторий с многомиллионными бюджетами на оборудование. Любая небольшая команда с AWS-аккаунтом теперь может запустить серьёзный эксперимент по обучению гуманоида без капитальных вложений в инфраструктуру. Это меняет экономику робототехники: порог входа снижается, скорость итераций растёт — и следующие прорывы в управлении физическими роботами вполне могут прийти от неожиданно небольших команд.