Pipeline de Physical AI com ROS2 e LeRobot roda no braço SO-101, em um setup de 30 mil rublos

A comunidade open source ganhou um stack prático de Physical AI para o SO-101, um manipulador de baixo custo. O projeto cobre todo o caminho, da demonstração por teleoperação até a execução autônoma da tarefa em um robô real. No lugar de scripts soltos, ele integra ROS2, LeRobot e imitation learning em um pipeline reproduzível, pensado para um setup de cerca de 30 mil rublos.

Como o stack funciona

A proposta central do projeto não está em um modelo novo. O ponto é que robótica e ML deixam de viver separadas. Na base fica o próprio manipulador SO-101. Acima dele vem a camada ros2_control, com um hardware interface para os servos Feetech STS3215. Por cima entram a teleoperação, as câmeras, a gravação de episódios e o inference. Assim, o sistema enxerga o robô como um dispositivo ROS2 comum, e não como um conjunto de scripts amarrados a uma única placa. Isso torna o stack portátil e fácil de modificar.

Sobre essa base roda a teleoperação leader/follower. O operador demonstra o movimento desejado, e o follower arm o repete enquanto gera dados para o treinamento. Durante as demonstrações, o projeto grava os episódios em rosbag ou MCAP, trabalha com várias câmeras e permite conferir observations e actions por meio de visualização no Rerun. Esse ponto é importante: além de coletar os dados, dá para descartá-los rapidamente antes do treino caso a sincronização, os ângulos de câmera ou as trajetórias tenham ficado ruins.

O caminho a partir dos dados

Depois da gravação, o projeto converte os episódios dos formatos do ROS para um LeRobot dataset. Essa é a ponte entre o mundo do ROS2 e o de ML: ela elimina formatos intermediários improvisados e encurta o caminho até o treino da policy. A partir daí, é possível testar imitation learning end-to-end com modelos como ACT ou SmolVLA e depois levar a policy resultante de volta ao loop ROS2 do robô. Esse caminho também tem a vantagem de se apoiar em um ecossistema de ferramentas que já existe.

Na prática, o workflow completo fica assim:

• bringup do manipulador e inicialização do ros2_control
• coleta de demonstrações via teleop leader/follower
• gravação de episódios em rosbag ou MCAP
• verificação dos fluxos de câmeras, actions e observations no Rerun
• conversão para LeRobot dataset, treino da policy e execução no robô

Outro ponto forte do stack é a separação entre o runtime do lado do robô e o modelo pesado. Se o computador local ao lado do braço não der conta, a policy pode rodar em um servidor de GPU externo via policy_server, deixando no robô apenas o cliente de inference e o loop de execução. Em Physical AI, isso está longe de ser cosmético: trata-se de um desacoplamento de engenharia correto, em que o control loop fica perto do hardware e o “cérebro” escala de forma independente. Isso facilita experimentos com modelos mais pesados e reduz os requisitos de hardware do lado do robô.

Onde está o valor prático

Projetos assim costumam quebrar na fronteira entre disciplinas: o robô se move, mas os dados foram mal coletados; o dataset existe, mas não volta para o hardware sem dor de cabeça; o modelo treina, mas não funciona no runtime real. Aqui, justamente as partes mais chatas e mais valiosas estão resolvidas: bringup, gravação, controle visual, conversão e integração de volta ao ROS2. Por isso, o stack se parece menos com uma research demo e mais com uma plataforma educacional e aplicada para embodied AI.

O projeto é especialmente útil para quem quer entrar em Physical AI sem orçamento de laboratório. No SO-101, que é barato, dá para acertar primeiro o básico — alimentação, calibração, teleop, câmeras, esquema de dados e latência de inference — e só depois partir para manipuladores mais complexos. Essa abordagem economiza meses: primeiro você constrói um pipeline reproduzível e depois experimenta com policies, e não o contrário. Para estudantes, equipes de pesquisa e startups pequenas, isso reduz bastante a barreira de entrada.

O que isso significa

A Physical AI está saindo aos poucos do modo apresentação e entrando no modo de stacks open source reproduzíveis. Se um manipulador barato pode ser configurado como um sistema ROS2, usado para coletar demonstrações, treinar uma policy e receber essa policy de volta no hardware, a barreira de entrada em embodied AI cai bastante, tanto para engenheiros quanto para equipes pequenas. Ou seja, mais experimentos vão acontecer em bancadas e laboratórios reais, e menos em slides.