ROS2 et LeRobot : un pipeline Physical AI complet pour le bras SO-101 à 30 000 roubles

La communauté open source dispose désormais d'un stack Physical AI pratique pour le SO-101, un bras manipulateur bon marché. Il couvre tout le parcours, de la démonstration téléopérée à l'exécution autonome d'une tâche sur un robot réel. Plutôt que d'empiler des scripts épars, le projet réunit ROS2, LeRobot et l'imitation learning dans un pipeline reproductible, pour une configuration d'environ 30 000 roubles.

Comment le stack est construit

L'intérêt du projet ne tient pas à un nouveau modèle, mais au fait que robotique et ML ne vivent plus séparément. À la base, on trouve le bras SO-101. Au-dessus, la couche ros2_control avec une hardware interface pour les servomoteurs Feetech STS3215. Viennent ensuite la téléopération, les caméras, l'enregistrement des épisodes et l'inférence. Le système voit ainsi le robot comme un périphérique ROS2 standard, et non comme un assemblage de scripts liés à une seule carte. Le stack gagne en portabilité et se prête facilement aux modifications.

Par-dessus tourne une téléopération leader/follower : l'opérateur montre le mouvement voulu, le follower arm le reproduit et génère en même temps les données d'entraînement. Pendant les démonstrations, le projet enregistre les épisodes en rosbag ou MCAP, gère plusieurs caméras et permet de vérifier observations et actions grâce à la visualisation dans Rerun. Le point compte : on peut non seulement collecter les données, mais aussi écarter rapidement, avant l'entraînement, celles dont la synchronisation, les angles de caméra ou les trajectoires posent problème.

Le parcours des données

Après l'enregistrement, le projet convertit les épisodes des formats ROS en dataset LeRobot. Cette passerelle entre ROS2 et le ML supprime les formats intermédiaires bricolés et accélère le passage à l'entraînement de la policy. On peut ensuite tester l'imitation learning end-to-end avec des modèles comme ACT ou SmolVLA, puis réinjecter la policy obtenue dans la boucle ROS2 du robot. Ce parcours a un autre atout : il s'appuie sur un écosystème d'outils déjà existant.

En pratique, le workflow se déroule ainsi :

• bringup du bras et lancement de ros2_control
• collecte de démonstrations via la téléopération leader/follower
• enregistrement des épisodes en rosbag ou MCAP
• vérification des flux caméra, des actions et des observations dans Rerun
• conversion en dataset LeRobot, entraînement de la policy et exécution sur le robot

Autre point fort du stack : la séparation entre le runtime côté robot et le modèle lourd. Si l'ordinateur local placé à côté du bras ne suffit pas, la policy peut tourner sur un serveur GPU externe via policy_server ; côté robot, il ne reste que le client d'inférence et la boucle d'exécution. Pour le Physical AI, ce n'est pas un détail cosmétique, mais un découplage d'ingénierie sain : la control loop reste près du matériel, tandis que le « cerveau » évolue indépendamment. Les expériences avec des modèles plus lourds deviennent plus simples et les exigences matérielles côté robot baissent.

Où se trouve la valeur pratique

Ce type de projet casse généralement à la jonction des disciplines : le robot sait bouger, mais les données sont mal collectées ; le dataset existe, mais impossible de le ramener sans douleur sur le matériel ; le modèle s'entraîne, mais ne tient pas dans un runtime réel. Ici, ce sont justement les briques les plus ingrates, mais les plus précieuses, qui sont traitées : bringup, enregistrement, contrôle visuel, conversion et réintégration dans ROS2. Le stack ressemble donc moins à une démo de recherche qu'à une plateforme pédagogique et appliquée pour l'embodied AI.

Le projet sert surtout à ceux qui veulent se lancer dans le Physical AI sans budget de laboratoire. Sur un SO-101 bon marché, on peut d'abord régler les fondamentaux — alimentation, calibration, téléopération, caméras, schéma de données et latence d'inférence — avant de passer à des bras plus complexes. L'approche fait gagner des mois : on construit d'abord un pipeline reproductible, puis on expérimente avec la policy, et non l'inverse. Pour les étudiants, les équipes de recherche et les petites startups, le seuil d'entrée baisse sensiblement.

Ce que cela signifie

Le Physical AI quitte peu à peu le registre des présentations pour celui des stacks open source reproductibles. Si l'on peut monter un bras bon marché comme un système ROS2, y collecter des démonstrations, entraîner une policy et la renvoyer sur le matériel, le seuil d'entrée dans l'embodied AI chute nettement, pour les ingénieurs comme pour les petites équipes. Davantage d'expériences se dérouleront donc non plus sur des slides, mais sur de vrais établis et dans de vrais laboratoires.