WorldBridge fait passer le taux de réussite des tâches robotiques de 25,07% à 70,70% sur RoboTwin 2.0

Les chercheurs de WorldBridge ont identifié ce qui aide un robot à exécuter des tâches absentes de son entraînement, et ont construit leur propre modèle autour de ce constat. Sur le benchmark de simulation RoboTwin 2.0, le taux de réussite sur les nouvelles tâches (dites out-of-distribution, c'est-à-dire hors du jeu d'entraînement) s'établissait à 25,07% sans données supplémentaires. Après l'ajout de vidéos de ces tâches sans étiquettes d'actions, il est monté à 55,90%, puis à 70,70% avec une démonstration annotée par tâche. Il s'agit de World Action Models (WAM), des modèles qui prédisent d'abord comment la scène va évoluer à l'image, puis convertissent cette prévision en commandes pour le bras manipulateur.

Ce qu'ont apporté les vidéos, et ce qu'ont apporté les actions

Les auteurs distinguent deux capacités. La généralisation vidéo est la capacité à prédire comment une tâche inconnue doit se dérouler. La généralisation des actions est la capacité à traduire cette prédiction en mouvements exécutables. Cette traduction repose sur un « pont » entre la vidéo et l'action, qui fonctionne comme un modèle de dynamique inverse (inverse dynamics model, IDM) : à partir du changement d'images, il reconstitue le mouvement qui y a conduit.

Lorsque le modèle est entraîné uniquement sur des paires « vidéo plus actions » issues du jeu de tâches initial, il réussit dans 25,07% des cas sur les nouvelles tâches. Les vidéos de nouvelles tâches sans étiquettes d'actions font monter ce score à 55,90%. Si l'on y ajoute une seule démonstration avec actions pour chaque nouvelle tâche, le taux de réussite atteint 70,70%.

Les auteurs expliquent ce résultat ainsi : le pont entraîné sur les tâches initiales sait déjà convertir des transitions visuelles en mouvements. La vidéo élargit l'ensemble des transitions que le modèle peut prédire, et les rares exemples annotés rendent le pont lui-même plus précis.

Comment le modèle est construit

WorldBridge repose sur une architecture Mixture-of-Transformers : elle comprend deux experts distincts, l'un pour la vidéo, l'autre pour les actions, chacun avec ses propres paramètres. Ils échangent des informations par auto-attention commune et sont entraînés avec une même fonction de perte, le flow matching. Un encodeur de texte T5 encode l'instruction en langage naturel, et un VAE vidéo encode les observations.

Les choix clés :

• Masque d'attention structuré. L'information circule du contexte observé vers la vidéo future, puis de là vers les actions : la dynamique prédite de la scène pilote donc explicitement le mouvement.
• Mémoire visuelle à deux échelles. La mémoire à court terme conserve les données sur le mouvement local, celle à long terme sur l'avancement de la tâche.
• Action forcing. Pendant l'entraînement aux actions, des niveaux de bruit indépendants sont attribués à l'intérieur d'un bloc, et le modèle apprend à les prédire à partir d'un contexte plus ou moins dégradé.

Données et résultats

Pour le préentraînement, les auteurs ont constitué un pipeline de données unifié. Les trajectoires de différents robots et les démonstrations égocentriques avec des mains humaines sont ramenées à une représentation commune des actions en 46 dimensions. Des masques de validité par dimension conservent l'annotation partielle lorsque la source ne fournit pas une partie des signaux de commande. Les trajectoires de robots subissent des contrôles de cohérence cinématique et temporelle, tandis que les trajectoires de mains sont ramenées à un système de coordonnées unique et filtrées selon des contraintes géométriques et des paramètres de mouvement.

Selon les auteurs, WorldBridge obtient le meilleur résultat parmi les méthodes comparées sur plusieurs benchmarks : 96,23% sur RoboTwin 2.0 avec le jeu de données complet, 80,9% en mode C2R (clean to random, des scènes propres aux scènes aléatoires), 82,8% sur RoboCasa GR1 TableTop et 57,6% sur DOMINO Level-1. Sur RMBench, le modèle égale le meilleur résultat de la comparaison, avec 83,0%. L'évaluation a aussi porté sur SimplerEnv-WidowX et RoboDojo.

Le même checkpoint préentraîné a été affiné pour les plateformes réelles AgiBot G2 et ARX AC-1. Les chercheurs y ont testé de longues séquences d'actions, des tâches faisant appel à la mémoire, le positionnement spatial et le travail à deux bras.

Les chiffres 25,07%, 55,90% et 70,70% proviennent de la simulation, et la mention « meilleur que les concurrents » ne vaut que pour les méthodes que les auteurs ont choisies pour la comparaison. Pour les équipes qui collectent des données pour des robots, la conclusion est pratique : il faut collecter en priorité des vidéos de nouvelles tâches sans annotation, et mieux vaut consacrer un budget d'annotation d'actions limité à une démonstration par tâche.