SkeLAM apprend à un robot à reproduire les mouvements humains avec seulement 10 heures de données

Environ 10 heures d'enregistrements de robot et une seule démonstration réalisée avec une main humaine. C'est ce qu'il a fallu aux chercheurs de l'Institut de technologie de Harbin (campus de Shenzhen) pour obtenir SkeLAM, un modèle qui transfère le mouvement d'un humain vers un manipulateur sans réentraînement. Le système repose sur Cosmos-Predict2.5-2B, un modèle vidéo préentraîné, entraîné sur environ 10 heures de données robotiques.

Un humain en entrée, un manipulateur en sortie

L'expérience est simple. Le modèle a été entraîné sur des données où un bras robotisé interagit avec des objets. Lors de la validation, les images du robot ont été remplacées par une démonstration humaine : une main bien réelle bouge dans le champ. La vidéo générée montre un bras mécanique dont le mouvement correspond au geste de l'humain. La direction du déplacement coïncide avec celle de la démonstration.

Un détail important concerne la méthode. Pendant le transfert, les paramètres du modèle sont entièrement gelés, et rien n'a été réentraîné pour les démonstrations humaines. Ce mode s'appelle le zero-shot : le modèle reçoit des données d'une autre nature et les traite avec les poids acquis sur les données robotiques.

Pourquoi le transfert entre morphologies reste un point de blocage

La robotique souffre depuis longtemps d'un manque de données. Les enregistrements de téléopération coûtent cher : il faut un opérateur, du matériel et du temps. Filmer des humains qui bougent les mains est bien plus simple, et ces vidéos abondent en ligne. Mais la main humaine et la pince d'un manipulateur diffèrent par leur géométrie, leur nombre de degrés de liberté et leur apparence. Un modèle entraîné sur une « forme de corps » lit généralement mal une autre. Dans la littérature, ce problème s'appelle le transfert cross-embodiment.

SkeLAM montre qu'avec un volume réduit de données robotiques, on peut jeter un pont entre deux morphologies. Dix heures constituent un jeu de données modeste à l'échelle de l'industrie. Une partie du travail revient au grand modèle vidéo, qui possède déjà une représentation de la physique de la scène, des objets et de la dynamique des mouvements.

Paramètres de l'expérience

• Auteurs : Institut de technologie de Harbin, campus de Shenzhen
• Nom du modèle : SkeLAM
• Modèle de base : Cosmos-Predict2.5-2B, modèle vidéo préentraîné d'environ 2 milliards de paramètres
• Données d'entraînement : environ 10 heures de données d'interaction du robot au total
• Scénario de validation : transfert de la main humaine vers le bras robotisé
• Entrée lors de la validation : démonstration vidéo d'un humain à la place des images du robot
• Résultat : dans la vidéo générée, le bras mécanique se déplace dans une direction correspondant à la démonstration
• Mode de transfert : tous les paramètres sont gelés, sans réentraînement sur ces démonstrations

Ce qu'il reste à vérifier

Générer une vidéo et piloter un manipulateur réel sont deux étapes distinctes. Une vidéo où la main bouge dans la bonne direction ne garantit pas encore qu'un robot physique réalisera une saisie, une rotation ou un positionnement précis. La concordance de la direction du mouvement valide la base, mais pas la motricité fine. Les travaux à venir porteront vraisemblablement sur la conversion des trajectoires générées en commandes pour de vrais robots, ainsi que sur des tests sur différentes plateformes.

Pour ceux qui construisent des robots, la conclusion pratique est la suivante. Si les prochaines vérifications confirment ce résultat, une grande partie des données d'entraînement pourra être collectée non pas sur le robot, mais sur des humains équipés d'une simple caméra. Cela réduit le coût des jeux de données et accélère les itérations. Les modèles vidéo de la classe Cosmos deviennent ainsi plus que de simples générateurs de vidéos : ils servent de base à des politiques de contrôle. Reste à surveiller comment l'équipe transposera ce résultat sur des plateformes physiques et quelles métriques de réussite des tâches elle présentera en dehors des vidéos de démonstration.