Qwen3.5-4B после RL-дообучения CaPtain решает 73,8% задач LIBERO против 0% у базы

Группа MMLab из Китайского университета Гонконга вместе с NovaXBot выложила CaPtain — открытый пайплайн постобучения, который превращает небольшую открытую vision-language-модель в агента типа code-as-policy. Такой агент смотрит на изображения с камер, пишет Python-код поверх API восприятия и движения и читает, что физически произошло. Базовая Qwen3.5-4B в этой постановке не решает ни одного эпизода LIBERO. После SFT и многошагового RL получившаяся CaPtain-4B доходит до 73,8% на отложенной выборке этого бенчмарка. Код, данные и веса авторы опубликовали.

Почему маленькие модели до сих пор не управляли роботом кодом

Фронтирные модели с кодовой обвязкой уже хорошо справляются с манипуляцией. По данным статьи, GPT-6 Astra в таком режиме решает 94,0% эпизодов LIBERO-PRO (версия LIBERO с изменёнными объектами, раскладкой и инструкциями). Но у подхода есть цена: OpenRUA, например, получает 91,8 на LIBERO-PRO ценой $8–22 за эпизод. Такого агента нельзя дообучить под нового робота и нельзя запустить на бортовом вычислителе.

Обходные варианты тоже ограничены. Часть систем отдаёт манипуляцию замороженной VLA-модели или готовым навыкам вроде grasp и place. Код в них выбирает, какой навык вызвать, а где и как хватать, решает сам навык. RL в такой схеме в лучшем случае учится выстраивать последовательность вызовов.

Харнесс на 22 примитива и критик с доступом к физике

CaPtain-Harness даёт агенту только низкоуровневые функции: 22 примитива восприятия, геометрических измерений и охраняемых движений. Масок и точек даёт SAM 3, движение принимает явную позу эффектора или команду захвату. Готовых навыков и VLA нет, так что направление подхода и момент закрытия схвата политика выбирает сама. Каждый вызов возвращает текстовый отчёт: измеренные позы, усилие контакта, причину остановки движения.

Эпизод — это до 60 запросов. История обрезается: в контексте остаются 12 последних изображений и не больше 20 строк отчётов на ячейку. При сжатии истории сохраняются переменные Python-сессии, поэтому найденные позы и вспомогательные функции не теряются. Эта же логика работает и в обучении, и на тесте.

Обучение идёт в два этапа. Сначала SFT на траекториях, которые сгенерировала GPT-6 Astra в том же многошаговом формате. Затем многошаговый RL. Главная трудность здесь в распределении заслуги: итог известен только в конце эпизода, а эффект хвата проявляется через несколько ходов. Авторы добавили физический критик. Он читает привилегированное состояние симулятора (точные позы объектов, статус захвата, прогресс подцелей), которого политика не видит. Каждому запросу критик присваивает кредит по тому, насколько запрос изменил предсказанную вероятность успеха. Запросы, которые только смотрят или проверяют, получают почти ноль, а кредит концентрируется на захватах и укладке. На тесте критик отключён, и политика опирается только на камеры и отчёты.

Результаты и границы применимости

• LIBERO: 0% у базы, 55,4% после SFT, 73,8% после RL.
• LIBERO-PRO: 78,5%, выше нескольких агентов на фронтирных моделях. Прирост от RL по трём наборам возмущений — от 17,6 до 21,2 пункта.
• RL добавил SFT-модели 19,4 пункта по четырём наборам LIBERO-PRO. У AgenticRoboRL, где RL работает поверх замороженной VLA, прирост 5,9 пункта, хотя стартовые базы у систем разные.
• SimplerEnv WidowX: 83,3% без обучения на целевой области.
• CaP-Bench: 75,0 балла, выше фронтирных моделей и 7B-кодера, обученного RL на этом бенчмарке.
• На реальном роботе модель выполняет задачи после адаптации только в грубом симуляционном двойнике.

Для сравнения авторы приводят сквозные политики. Одна из них падает с 97% на обычном LIBERO до 12.8% на LIBERO-PRO. RL-постобучение RIPT-VLA на LIBERO-Plus даёт 68,4 против 69,6 у базовой OpenVLA-OFT. У CaPtain улучшились все семь измерений возмущений LIBERO-Plus.

Ограничения авторы называют сами. На RoboTwin 2.0, где нужна координация двух рук, успех всего 22,6%. На RoboDojo, с незнакомой кинематикой руки, он составляет 0,8%. Критик работает только в симуляции, так что для задач без хорошей симуляционной модели метод не годится.

Практический вывод для робототехников: манипуляцию через низкоуровневые примитивы можно дообучать тем же рецептом SFT плюс многошаговый RL, что и кодовых агентов. Это даёт 4B-политику, которая стоит малую долю цены фронтирных агентов и работает без VLA на тесте. Для проверки на других роботах уже есть открытые веса и данные.