Ropedia W0 entraînée sur 10 000 heures de vidéo humaine et 3 000 heures de données robots

Ropedia W0 a été entraînée sur 13 000 heures de données : 10 000 heures de vidéo égocentrique d'humains et 3 000 heures d'enregistrements de robots. Selon ses auteurs, c'est la première foundation world model qui modélise conjointement le déplacement et la manipulation, pour des humains comme pour des machines de morphologies différentes. Le modèle affiche les meilleurs résultats sur cinq benchmarks cross-embodiment. Après distillation, il produit des prévisions d'une minute en temps réel, ce qui suffit pour un usage interactif en VR.

Le problème que les chercheurs cherchent à résoudre est bien connu de tous ceux qui travaillent sur l'IA incarnée. Une world model doit prédire les conséquences des actions d'un agent. Or les espaces d'action d'un humain, d'un manipulateur sur roues et d'un humanoïde diffèrent, et les données multimodales annotées qui décrivent ensemble la marche et le travail des mains sont rares. D'ordinaire, on sépare donc les tâches : la navigation d'un côté, la préhension de l'autre. Pour des scénarios longs du type « aller jusqu'à la table, prendre un objet, le transporter », ce découpage est peu pratique.

Un langage de mouvement unifié et le corpus Xp-Data

Dans W0, les actions de corps différents sont converties en une représentation cinématique commune. Le déplacement est encodé par les poses de la caméra, la manipulation par des squelettes des mains et du corps projetés. Pour les robots, les squelettes proviennent de la cinématique directe de chaque plateforme, complétée par un annotage manuel de points clés, puis corrigée. Cette partie du travail est laborieuse, mais c'est elle qui aligne les données des humains et des machines.

Le corpus Xp-Data a été constitué avec une annotation multimodale unifiée et un contrôle qualité systématique. Les auteurs publient par ailleurs le benchmark Xp-Teleop, consacré aux tâches longues de loco-manipulation et construit à partir de téléopération de qualité d'humanoïdes dextres.

Paramètres clés tirés de la description du travail :

• Xp-Data : 10 000 heures de données égocentriques d'humains et 3 000 heures de données de robots ;
• représentation des actions : poses de caméra pour le mouvement, squelettes projetés pour la manipulation ;
• évaluation sur cinq benchmarks : DreamDojo, Ψ_0, ω-HOME, Xp-Teleop et AgiBot, plus des vidéos humaines mises de côté ;
• modes de validation : zero-shot, few-shot et post-entraînement sur l'ensemble des données ;
• après distillation : prévisions d'une minute en temps réel et interaction VR en direct.

Les humains, source de passage à l'échelle

L'enseignement pratique principal concerne les données. Augmenter le volume de données humaines au pré-entraînement améliore les métriques, non seulement sur les évaluations humaines, mais aussi sur celles des robots. Filmer des humains à la première personne coûte nettement moins cher que la téléopération d'humanoïdes. Si le transfert entre corps fonctionne bien à ces échelles, le goulot d'étranglement de l'IA incarnée se déplace des coûteux jeux de données robots vers l'annotation et le contrôle qualité.

Le lien avec le temps réel mérite aussi l'attention. Les grandes world models sont généralement trop lentes pour un usage interactif. Ici, la version distillée tient des scénarios d'une minute sans dégradation dont les auteurs feraient état, et permet à une personne en VR d'observer le monde prédit ou d'agir sur lui. Pour l'évaluation de politiques et la simulation, cette vitesse détermine si l'on peut lancer des milliers d'exécutions sans matériel réel.

Une réserve : il s'agit d'un résultat tiré du résumé de l'article. La publication annonce la première place sur les benchmarks, mais ne donne aucune information sur la publication des poids ni du code. L'affirmation « première de sa catégorie » vient elle aussi des auteurs eux-mêmes. Les chiffres détaillés par métrique et les ablations sont à vérifier dans le texte complet.

Où cela servira en premier

Les auteurs présentent trois scénarios d'application : l'évaluation de politiques, la planification fondée sur le modèle et le world-action modeling. Pour les équipes qui entraînent des humanoïdes, le plus concret est l'évaluation de politiques au sein de la world model : elle permet d'écarter les variantes faibles avant de les lancer sur le matériel. Pour ceux qui collectent des données, le schéma lui-même mérite l'attention : la représentation cinématique unifiée et la correction manuelle des squelettes de robots deviennent une étape obligatoire dès lors qu'on prévoit de mélanger données d'humains et de machines. Si Ropedia publie Xp-Teleop, il pourrait servir de test utile pour les tâches longues où la marche et le travail des mains forment un seul flux.