На базе ROS2 и LeRobot собрали Physical AI-конвейер для SO-101 за 30 тысяч рублей

В open-source сообществе появился практический Physical AI-стек для дешёвого манипулятора SO-101: он закрывает весь путь от телоуправляемой демонстрации до автономного выполнения задачи на реальном роботе. Вместо разрозненных скриптов проект связывает ROS2, LeRobot и imitation learning в один воспроизводимый конвейер примерно для сетапа за 30 тысяч рублей.

Как устроен стек

Главная идея проекта не в новой модели, а в том, что робототехника и ML больше не живут отдельно. Внизу — сам манипулятор SO-101, выше — слой ros2_control с hardware interface для сервоприводов Feetech STS3215, а дальше уже поднимаются телоуправление, камеры, запись эпизодов и inference. В результате робот виден системе как нормальное ROS2-устройство, а не как набор скриптов, привязанных к одной плате.

Это делает стек переносимым и удобным для доработки. Поверх этого запускается leader/follower teleoperation: оператор показывает нужное движение, а follower arm повторяет его и одновременно генерирует данные для обучения. Во время демонстраций проект пишет эпизоды в rosbag или MCAP, умеет работать с несколькими камерами и позволяет проверять observations и actions через визуализацию в Rerun.

Это важный момент: данные можно не только собрать, но и быстро отбраковать до обучения, если синхронизация, ракурсы камер или траектории оказались неудачными.

Путь от данных После записи проект конвертирует эпизоды из ROS-форматов в LeRobot dataset.

Это мост между миром ROS2 и ML, который убирает самодельные промежуточные форматы и позволяет быстрее перейти к обучению policy. Дальше можно пробовать end-to-end imitation learning с моделями вроде ACT или SmolVLA и затем возвращать полученную policy обратно в ROS2-контур робота. Такой путь важен ещё и тем, что опирается на уже существующую экосистему инструментов.

Практически весь workflow выглядит так: bringup манипулятора и запуск ros2_control сбор демонстраций через leader/follower teleop запись эпизодов в rosbag или MCAP проверка потоков камер, actions и observations в Rerun * конвертация в LeRobot dataset, обучение policy и запуск на роботе Отдельная сильная сторона стека — разделение robot-side runtime и тяжёлой модели. Если локального компьютера рядом с рукой не хватает, policy можно крутить на внешнем GPU-сервере через policy_server, а на стороне робота оставить только клиента inference и исполнительный контур. Для Physical AI это не косметика, а нормальная инженерная развязка: control loop остаётся рядом с железом, а «мозг» масштабируется независимо.

Это упрощает эксперименты с более тяжёлыми моделями и снижает требования к robot-side железу.

Где практическая ценность

Такие проекты обычно ломаются на стыке дисциплин: робот умеет двигаться, но данные собраны криво; датасет есть, но его нельзя без боли вернуть в железо; модель обучается, но не живёт в реальном runtime. Здесь как раз закрыты самые скучные, но самые ценные части — bringup, запись, визуальный контроль, конвертация и обратная интеграция в ROS2. Поэтому стек выглядит не как research demo, а как учебно-прикладная платформа для embodied AI.

Проект особенно полезен тем, кто хочет войти в Physical AI без лабораторного бюджета. На дешёвом SO-101 можно сначала отладить базовые вещи — питание, калибровку, teleop, камеры, схему данных и задержки inference — и только потом переходить к более сложным манипуляторам. Такой подход экономит месяцы: сначала ты строишь воспроизводимый pipeline, потом экспериментируешь с policy, а не наоборот.

Для студентов, ресерч-команд и небольших стартапов это заметно снижает порог входа.

Что это значит

Physical AI постепенно выходит из режима презентаций и переходит в режим воспроизводимых open-source стеков. Если недорогой манипулятор можно поднять как ROS2-систему, собрать на нём демонстрации, обучить policy и вернуть её обратно в железо, то порог входа в embodied AI заметно падает и для инженеров, и для небольших команд. А значит, больше экспериментов будет происходить не на слайдах, а на реальных столах и в лабораториях.