AWS e NVIDIA lançam treinamento em larga escala do robô Unitree H1 no SageMaker AI

A AWS, em parceria com a NVIDIA, apresentou um pipeline completo para treinar políticas de controle do robô humanoide Unitree H1 diretamente na nuvem, sem precisar de um cluster de GPUs próprio.

Por que usar a nuvem para robôs

O aprendizado por reforço para robôs físicos exige bilhões de passos de simulação, e isso não é exagero. Para um humanoide aprender a andar para a frente sem cair, a rede neural precisa passar por dezenas de bilhões de interações entre um agente virtual e o ambiente. Fazer isso no mundo real é caro e perigoso: um experimento malsucedido pode significar milhares de dólares em reparos, e o processo levaria anos em vez de horas. Por isso o setor aposta na simulação física.

A corrida por uma "lei de Moore para robôs" já começou: Tesla, Figure, Boston Dynamics e dezenas de startups investem centenas de milhões na criação de ambientes sintéticos de treinamento.

O NVIDIA Isaac Lab é um simulador acelerado por GPU capaz de executar milhares de cópias de um ambiente virtual ao mesmo tempo em um único nó. Até agora, era usado principalmente em grandes laboratórios corporativos e universitários com hardware caro.

Agora o Isaac Lab está integrado diretamente ao Amazon SageMaker AI. Isso significa que um pedido de centenas de GPUs é atendido em minutos, e o engenheiro não precisa pensar na infraestrutura, apenas no código da política e na configuração da tarefa.

Duas formas de executar

A AWS oferece dois modos para diferentes cenários de uso:

• SageMaker HyperPod: um cluster gerenciado e persistente; a infraestrutura é mantida entre as execuções, o que é conveniente para pesquisas de várias semanas e para o ajuste iterativo de hiperparâmetros
• SageMaker Training Jobs: uma execução gerenciada de uso único; os recursos são alocados estritamente para a tarefa e liberados automaticamente ao fim dela, o que facilita o controle do orçamento
• Há suporte a instâncias das séries p4d e p5, com NVIDIA A100 e H100, respectivamente
• O Isaac Lab é implantado em um contêiner Docker padrão; os pesos do modelo e os checkpoints são salvos automaticamente no Amazon S3
• As métricas de treinamento (reward, episode length, entropy loss) chegam ao Amazon CloudWatch em tempo real

A principal vantagem das duas opções é a eliminação da carga operacional. Não é preciso configurar o Kubernetes por conta própria, gerenciar a rede InfiniBand entre os nós nem balancear manualmente a carga entre as GPUs.

Como é o treinamento do Unitree H1

O Unitree H1 é um dos humanoides de série mais acessíveis: tem cerca de 180 cm de altura, 47 kg e 19 graus de liberdade. Isso o torna uma plataforma popular para pesquisa acadêmica em controle de movimento.

Na simulação do Isaac Lab, milhares de cópias virtuais do robô aprendem a andar em paralelo com o algoritmo Proximal Policy Optimization (PPO): caem, se levantam, corrigem o equilíbrio e recebem uma recompensa por avançar de forma estável. A qualidade da política treinada depende de quão bem a função de recompensa descreve o comportamento desejado.

Em um único nó H100, o Isaac Lab consegue executar até 4096 simulações paralelas ao mesmo tempo. Ao escalar para vários nós, entra em ação o treinamento distribuído via PyTorch DDP, e a sincronização de gradientes entre as GPUs acontece automaticamente.

"Escalar para centenas de GPUs pelo

SageMaker reduz o tempo de treinamento de vários dias para algumas horas", observam os autores da publicação no blog da AWS.

Ao final, a política treinada é exportada nos formatos ONNX ou TorchScript e pode ser transferida para o hardware real por meio do NVIDIA Isaac ROS.

O que isso significa

O aprendizado por reforço em nuvem para robôs sai do âmbito dos laboratórios com orçamentos de hardware de vários milhões. Qualquer equipe pequena com uma conta na AWS agora pode rodar um experimento sério de treinamento de humanoide sem investimento de capital em infraestrutura.

Isso muda a economia da robótica: a barreira de entrada diminui, a velocidade de iteração aumenta, e os próximos avanços no controle de robôs físicos podem muito bem vir de equipes surpreendentemente pequenas.