Alibaba DAMO entraîne des robots sur 30 000 heures de vidéo sans étiquettes d'action

Le principal obstacle des grands modèles pour la robotique (VLA, vision-language-action) est le manque de données annotées avec les actions. Les démonstrations accompagnées de commandes enregistrées sont rares, et chaque robot possède son propre espace de contrôle. Les chercheurs d'Alibaba DAMO Academy proposent de contourner cette limite. Leur framework RynnVLA-Latent est préentraîné sur 30,1 mille heures de vidéos d'humains, de robots et de simulations, dépourvues de commandes de contrôle natives. La politique finale, de 4 milliards de paramètres, atteint 98,8% de réussite sur LIBERO et 88,6% sur le benchmark bimanuel RoboTwin 2.0.

Des actions que personne n'a enregistrées

L'approche repose sur le modèle RynnLAM. Il observe des paires d'images et apprend à décrire la transition entre elles sous la forme d'une action latente continue. Les commandes natives du robot ne sont pas nécessaires : n'importe quelle vidéo convient, y compris des séquences où des mains humaines assemblent des objets.

Cette méthode a un point faible. Si le modèle se contente de prédire l'image suivante, il tend à encoder des changements d'apparence : lumière, arrière-plan, mouvement de la caméra. Les auteurs y répondent par trois techniques :

• la prédiction résiduelle des caractéristiques futures (residual future-feature prediction) force le modèle à encoder précisément le changement entre les images ; • la supervision par flux 3D (3D-flow supervision) avec compensation du mouvement de la caméra ancre la représentation dans le déplacement réel des objets dans l'espace ; • le découplage du mouvement de la caméra (camera-motion decoupling) sépare le déplacement de la caméra des actions dans la scène.

Ensemble, ces techniques produisent des représentations qui décrivent le mouvement utile au contrôle, et non un simple changement d'image.

De 745 millions de descripteurs à la main réelle

Les chercheurs ont appliqué RynnLAM à l'ensemble du corpus de 30,1 mille heures et obtenu 745,52 millions de descripteurs latents. La politique elle-même est entraînée sur ces données. À partir des observations visuelles et d'une instruction en langage naturel, RynnVLA-Latent prédit des blocs d'actions latentes (latent-action chunks) par flow matching.

Vient ensuite le post-entraînement pour un robot donné. Le backbone préentraîné et le module expert d'actions (action expert) s'adaptent aux commandes de contrôle natives de la plateforme concernée. Les cibles latentes servent de langage commun à des corps différents, et les spécificités de la mécanique sont ajoutées à la fin.

Les auteurs ont aussi évalué la qualité des représentations elles-mêmes. Ils ont testé les représentations gelées avec des sondes (probing) afin de montrer qu'elles permettent de prédire le contrôle. Ils ont également mené des ablations sur les représentations et tracé des courbes de passage à l'échelle : la qualité progresse avec le volume de préentraînement latent.

Ce que montrent les benchmarks

Le modèle de 4 milliards de paramètres a obtenu les résultats suivants :

• LIBERO : 98,8% de réussite ; • LIBERO-Plus : 84,7% sans adaptation à ce benchmark ; • VLABench : 51,9% en moyenne sur cinq pistes ; • RoboTwin 2.0 (tâches bimanuelles) : 88,6% en moyenne ; • six tâches de manipulation en conditions réelles, sur des plateformes à main dextre et à pince mobile : les meilleurs scores parmi les méthodes comparées.

Une réserve s'impose : dans les tâches réelles, il s'agit du meilleur résultat parmi les méthodes que les auteurs ont incluses dans la comparaison. L'étude ne propose pas de comparaison large avec des systèmes industriels propriétaires.

Ce qu'il faut en retenir pour l'industrie

Le goulot d'étranglement de la robotique aujourd'hui, ce sont les données. La téléopération coûte cher, et la compatibilité des jeux de données d'un robot à l'autre reste un problème chronique. Le travail de DAMO montre une voie pragmatique : exploiter les vidéos déjà accumulées, y compris celles d'humains, comme source de signal pour le contrôle.

Pour les équipes qui développent des modèles de manipulation, cela implique plusieurs choses. D'abord, des vidéos sans annotation peuvent devenir des cibles d'entraînement, à condition de neutraliser correctement le mouvement de la caméra. Ensuite, un seul préentraînement se transfère à différentes plateformes grâce à un court post-entraînement. Enfin, la courbe de passage à l'échelle indique qu'un volume de vidéo encore plus grand donnerait de meilleurs résultats, et il existe bien plus de vidéos dans le monde que de démonstrations annotées.

Il s'agit d'un résultat académique, mais le code est déjà publié dans le dépôt alibaba-damo-academy/RynnVLA-Latent et la page du projet est ouverte. Des groupes indépendants peuvent donc vérifier les chiffres et appliquer la méthode sur leurs propres plateformes.