Un pipeline de Physical AI para el SO-101 por 30.000 rublos, basado en ROS2 y LeRobot

La comunidad open-source ha publicado un stack práctico de Physical AI para el SO-101, un manipulador de bajo coste. Cubre todo el recorrido, desde la demostración teleoperada hasta la ejecución autónoma de una tarea en un robot real. En lugar de scripts dispersos, el proyecto une ROS2, LeRobot e imitation learning en un único pipeline reproducible, pensado para un montaje de unos 30.000 rublos.

Cómo funciona el stack

La idea central del proyecto no es un modelo nuevo. Lo relevante es que la robótica y el ML dejan de vivir por separado. En la base está el propio manipulador SO-101; encima, la capa ros2_control con un hardware interface para los servos Feetech STS3215, y sobre ella se levantan la teleoperación, las cámaras, la grabación de episodios y la inferencia. Así, el sistema ve el robot como un dispositivo ROS2 normal, y no como un conjunto de scripts atados a una placa concreta. Esto hace que el stack sea portable y fácil de ampliar.

Sobre esta base funciona la teleoperación leader/follower: el operador muestra el movimiento deseado y el follower arm lo reproduce mientras genera datos de entrenamiento. Durante las demostraciones, el proyecto graba los episodios en rosbag o MCAP, admite varias cámaras y permite revisar observations y actions mediante visualización en Rerun. Es un punto clave: los datos no solo se recopilan, también se pueden descartar rápidamente antes del entrenamiento si la sincronización, los ángulos de cámara o las trayectorias no son buenos.

El camino de los datos

Tras la grabación, el proyecto convierte los episodios de los formatos de ROS a un dataset de LeRobot. Este puente entre el mundo de ROS2 y el ML elimina los formatos intermedios caseros y acelera el paso al entrenamiento de la policy. A partir de ahí se puede probar imitation learning end-to-end con modelos como ACT o SmolVLA y después devolver la policy resultante al circuito ROS2 del robot. Este enfoque tiene además la ventaja de apoyarse en un ecosistema de herramientas ya existente.

En la práctica, el workflow completo es este:

• bringup del manipulador y arranque de ros2_control
• recogida de demostraciones mediante teleop leader/follower
• grabación de episodios en rosbag o MCAP
• revisión de los flujos de cámaras, actions y observations en Rerun
• conversión a dataset de LeRobot, entrenamiento de la policy y ejecución en el robot

Otro punto fuerte del stack es la separación entre el runtime del robot y el modelo pesado. Si el ordenador local junto al brazo no da abasto, la policy puede ejecutarse en un servidor GPU externo mediante policy_server, y en el lado del robot quedan solo el cliente de inferencia y el circuito de actuación. En Physical AI esto va mucho más allá de lo cosmético: es un desacoplamiento de ingeniería sensato, en el que el control loop permanece junto al hardware y el «cerebro» escala de forma independiente. Esto facilita experimentar con modelos más pesados y reduce los requisitos de hardware en el lado del robot.

Dónde está el valor práctico

Este tipo de proyectos suele fallar en la frontera entre disciplinas: el robot se mueve, pero los datos están mal recogidos; el dataset existe, pero no se puede devolver al hardware sin sufrimiento; el modelo se entrena, pero no funciona en un runtime real. Aquí están resueltas precisamente las partes más aburridas y más valiosas: bringup, grabación, control visual, conversión e integración de vuelta en ROS2. Por eso el stack se parece menos a una demo de investigación y más a una plataforma formativa y aplicada para embodied AI.

El proyecto resulta especialmente útil para quien quiere entrar en Physical AI sin presupuesto de laboratorio. Con el económico SO-101 se pueden depurar primero los aspectos básicos —alimentación, calibración, teleop, cámaras, esquema de datos y latencias de inferencia— y solo después pasar a manipuladores más complejos. Este enfoque ahorra meses: primero se construye un pipeline reproducible y luego se experimenta con la policy, no al revés. Para estudiantes, equipos de investigación y pequeñas startups, la barrera de entrada baja de forma notable.

Qué significa

El Physical AI va dejando atrás la fase de presentaciones y avanza hacia stacks open-source reproducibles. Si un manipulador barato puede levantarse como sistema ROS2, servir para recoger demostraciones, entrenar una policy y devolverla al hardware, la barrera de entrada al embodied AI cae notablemente tanto para ingenieros como para equipos pequeños. Y eso significa que más experimentos se harán en mesas y laboratorios reales, y no en diapositivas.