Qwen3.5-4B après le fine-tuning RL CaPtain résout 73,8% des tâches LIBERO, contre 0% pour le modèle de base

Le groupe MMLab de l'Université chinoise de Hong Kong, associé à NovaXBot, publie CaPtain, un pipeline ouvert de post-entraînement qui transforme un petit modèle vision-langage ouvert en agent de type code-as-policy. Cet agent analyse les images des caméras, écrit du code Python s'appuyant sur des API de perception et de mouvement, puis lit le compte rendu de ce qui s'est physiquement produit. Dans ce cadre, le Qwen3.5-4B de base ne résout aucun épisode de LIBERO. Après un SFT et un RL multi-étapes, le modèle obtenu, CaPtain-4B, atteint 73,8% sur l'échantillon de test de ce benchmark. Les auteurs ont publié le code, les données et les poids.

Pourquoi les petits modèles ne pilotaient pas encore les robots par le code

Les modèles de pointe dotés d'une couche d'exécution de code manipulent déjà bien les objets. D'après l'article, GPT-6 Astra résout dans ce mode 94,0% des épisodes de LIBERO-PRO (une version de LIBERO avec objets, disposition et instructions modifiés). Mais cette approche a un coût : OpenRUA, par exemple, obtient 91,8 sur LIBERO-PRO au prix de $8–22 par épisode. Un tel agent ne peut pas être affiné pour un nouveau robot, ni exécuté sur un calculateur embarqué.

Les solutions de contournement sont, elles aussi, limitées. Certains systèmes confient la manipulation à un modèle VLA gelé ou à des compétences prêtes à l'emploi comme grasp et place. Le code y choisit quelle compétence appeler, mais c'est la compétence elle-même qui décide où et comment saisir. Dans un tel schéma, au mieux, le RL apprend à enchaîner les appels.

Un harnais de 22 primitives et un critique qui accède à la physique

CaPtain-Harness ne donne à l'agent que des fonctions de bas niveau : 22 primitives de perception, de mesure géométrique et de mouvements protégés. SAM 3 fournit les masques et les points ; les commandes de mouvement acceptent une pose explicite de l'effecteur ou une commande de préhension. Il n'y a ni compétences prêtes à l'emploi ni VLA : la politique choisit elle-même la direction d'approche et le moment de fermeture de la pince. Chaque appel renvoie un compte rendu textuel : poses mesurées, force de contact, cause de l'arrêt du mouvement.

Un épisode compte jusqu'à 60 requêtes. L'historique est tronqué : le contexte conserve les 12 dernières images et pas plus de 20 lignes de compte rendu par cellule. Lors de la compression de l'historique, les variables de la session Python sont conservées, de sorte que les poses trouvées et les fonctions auxiliaires ne sont pas perdues. La même logique s'applique à l'entraînement et au test.

L'entraînement se déroule en deux étapes. D'abord, un SFT sur des trajectoires générées par GPT-6 Astra dans le même format multi-étapes. Ensuite, un RL multi-étapes.

La principale difficulté tient à l'attribution du crédit : le résultat n'est connu qu'à la fin de l'épisode, alors que l'effet d'une saisie ne se manifeste qu'après plusieurs tours. Les auteurs ont ajouté un critique physique. Il lit l'état privilégié du simulateur (poses exactes des objets, état de la préhension, progression des sous-objectifs), que la politique ne voit pas.

Pour chaque requête, le critique attribue un crédit en fonction de la variation que la requête a provoquée sur la probabilité de succès prédite. Les requêtes qui se contentent d'observer ou de vérifier reçoivent un crédit proche de zéro, tandis que le crédit se concentre sur les saisies et le placement. Au test, le critique est désactivé et la politique s'appuie uniquement sur les caméras et les comptes rendus.

Résultats et limites d'application

• LIBERO : 0% pour le modèle de base, 55,4% après le SFT, 73,8% après le RL.
• LIBERO-PRO : 78,5%, soit plus que plusieurs agents fondés sur des modèles de pointe. Le gain apporté par le RL sur les trois jeux de perturbations va de 17,6 à 21,2 points.
• Le RL a ajouté 19,4 points au modèle issu du SFT sur les quatre jeux de LIBERO-PRO. Pour AgenticRoboRL, où le RL s'applique à un VLA gelé, le gain est de 5,9 points, même si les bases de départ des deux systèmes diffèrent.
• SimplerEnv WidowX : 83,3% sans entraînement sur le domaine cible.
• CaP-Bench : 75,0 points, soit plus que les modèles de pointe et qu'un modèle de code de 7B entraîné par RL sur ce benchmark.
• Sur un robot réel, le modèle exécute les tâches après une adaptation réalisée uniquement dans un jumeau de simulation grossier.

Pour comparaison, les auteurs citent des politiques de bout en bout. L'une d'elles chute de 97% sur le LIBERO classique à 12.8% sur LIBERO-PRO. Le post-entraînement RL de RIPT-VLA sur LIBERO-Plus donne 68,4, contre 69,6 pour la base OpenVLA-OFT. Avec CaPtain, les sept dimensions de perturbation de LIBERO-Plus s'améliorent.

Les auteurs reconnaissent eux-mêmes les limites. Sur RoboTwin 2.0, qui exige une coordination à deux bras, le taux de réussite n'est que de 22,6%. Sur RoboDojo, avec une cinématique de bras inconnue, il tombe à 0,8%. Le critique ne fonctionne qu'en simulation : la méthode ne convient donc pas aux tâches pour lesquelles il n'existe pas de bon modèle de simulation.

Le constat pratique pour les roboticiens : la manipulation via des primitives de bas niveau peut être affinée avec la même recette SFT plus RL multi-étapes que les agents de code. On obtient ainsi une politique 4B qui coûte une petite fraction du prix des agents de pointe et fonctionne sans VLA au test. Les poids et les données sont déjà ouverts pour permettre une vérification sur d'autres robots.