Le modèle WorldBridge fait passer le taux de réussite sur tâches inédites de 25,07% à 70,70% dans RoboTwin 2.0

Des chercheurs ont présenté WorldBridge, un World Action Model (WAM) : un modèle qui prédit l'évolution d'une scène en vidéo et traduit cette prévision en commandes pour un robot. La question centrale du travail : qu'est-ce qui aide le plus un robot à gérer des tâches absentes de son entraînement, davantage de vidéo ou davantage d'actions annotées ? Sur RoboTwin 2.

0 (un simulateur de tâches pour robots bimanuels), le taux de réussite sur ces nouvelles tâches passe de 25,07% quand le modèle est entraîné uniquement sur des données connues à 55,90% après l'ajout de vidéos de ces tâches, puis à 70,70% après l'ajout d'une seule démonstration avec actions par tâche. Par ailleurs, le modèle a obtenu les meilleurs résultats parmi les méthodes comparées sur plusieurs tests de manipulation.

Ce que apportent les vidéos et ce qu'apportent les actions

L'expérience repose sur trois régimes d'entraînement. Dans le premier, le modèle ne voit que des paires « vidéo + actions » pour les tâches du jeu d'entraînement initial. Sur les nouvelles tâches (out-of-distribution, c'est-à-dire hors de la distribution d'entraînement), il atteint 25,07% de réussite : un résultat non nul, mais faible.

Dans le deuxième régime, l'entraînement inclut des vidéos des nouvelles tâches, mais sans étiquettes d'actions ; l'annotation des actions ne subsiste que pour les tâches initiales. Le taux de réussite grimpe à 55,90%. Selon les auteurs, le modèle exploite sa capacité déjà acquise de dynamique inverse (inverse dynamics) : à partir du changement observé dans la scène, il reconstitue l'action qui l'a provoqué, et applique cette compétence à la nouvelle vidéo.

Dans le troisième régime, aux mêmes vidéos s'ajoute une démonstration avec actions pour chaque nouvelle tâche. Le taux de réussite monte à 70,70%. Les auteurs décrivent un partage des rôles : la vidéo élargit l'éventail de tâches que le modèle sait « se représenter », tandis qu'un petit nombre d'actions annotées renforce le pont entre l'image et la commande. Ce constat est cohérent avec les travaux DreamZero et Zero-WAM, où des priors vidéo avaient déjà servi à exécuter des tâches inconnues et à transférer des compétences à partir de vidéos sans actions.

Comment est construit WorldBridge

L'architecture est un Mixture-of-Transformers avec deux experts distincts : l'un pour la vidéo, l'autre pour les actions. Chacun dispose de ses propres paramètres, de ses réseaux feed-forward et de son décodeur, et ils échangent de l'information via un self-attention commun. L'expert vidéo reçoit en plus une instruction textuelle par cross-attention. Le contexte est encodé par un VAE vidéo et un encodeur de texte T5, et l'entraînement suit un objectif commun de flow matching, avec des niveaux de bruit indépendants pour la vidéo et pour les actions.

Parmi les particularités du modèle :

• Masque d'attention structuré. L'information circule du contexte observé vers les représentations vidéo futures, puis vers les actions ; la dynamique prédite de la scène conditionne ainsi explicitement la commande.
• Mémoire visuelle à deux échelles. La mémoire à court terme conserve le mouvement local, celle à long terme le déroulement de la tâche.
• Action forcing. À l'intérieur d'un même bloc d'actions, on applique à l'entraînement des niveaux de bruit indépendants à différents éléments, et l'expert d'actions apprend à s'appuyer sur un contexte temporel dégradé à des degrés variables.

Les auteurs décrivent également un pipeline de données unifié. Les trajectoires de robots et les démonstrations égocentriques de mains humaines sont ramenées à une représentation commune des actions en 46 dimensions. Des masques de validité par dimension préservent l'annotation partielle pour les plateformes dotées d'interfaces de commande différentes. Les données de robots passent des contrôles de cinématique et de cohérence temporelle, tandis que les trajectoires de mains sont standardisées dans un système de coordonnées commun puis filtrées selon des contraintes géométriques et motrices.

Résultats et limites

Parmi les méthodes comparées, WorldBridge affiche les meilleurs résultats : 96,23% de réussite moyenne sur RoboTwin 2.0 en mode complet, 80,9% en mode clean-to-random, 82,8% sur RoboCasa GR1 TableTop et 57,6% sur DOMINO Level-1. Sur RMBench, le modèle égale le meilleur résultat de la comparaison des auteurs, avec 83,0%. Des vérifications supplémentaires ont été menées sur SimplerEnv-WidowX et RoboDojo. Sur des robots réels, AgiBot G2 et ARX AC-1, un même checkpoint pré-entraîné conjointement a été affiné pour chaque plateforme ; les tests couvraient de longues chaînes d'actions, des tâches à mémoire, le positionnement spatial et la coordination bimanuelle.

Il faut garder des réserves à l'esprit. Les chiffres clés sur le transfert proviennent d'un benchmark en simulation, et la première place est revendiquée « parmi les méthodes comparées », c'est-à-dire dans un échantillon choisi par les auteurs eux-mêmes. Pour les praticiens, l'enseignement principal est le suivant : une vidéo peu coûteuse et sans annotation peut fournir l'essentiel du gain lors du transfert vers de nouvelles tâches, et quelques démonstrations annotées gagnent à être ajoutées de façon ciblée pour consolider le résultat.