Des robots qui apprennent sur 20 854 heures de vidéo : comment Sharpa construit sa manipulation dextre

Les données pour les robots renchérissent plus vite que les modèles ne progressent, et l'industrie cherche une issue. L'équipe d'EgoScale, qui compte notamment des chercheurs de NVIDIA, a pré-entraîné une politique robotique sur 20 854 heures de vidéo à la première personne montrant des humains en action. Elle constate une relation log-linéaire : plus il y a d'heures, meilleur est le résultat, et cette progression est prévisible. Dans ce contexte, le média chinois Jiqizhixin analyse l'approche de Sharpa, qui conçoit la manipulation dextre comme un système unique à trois couches : le matériel, les données et le modèle.

Une réserve importante : le fragment de l'article dont nous disposons ne contient aucun benchmark propre à Sharpa. Nous présentons donc ci-dessous le contexte et la logique de l'approche, et non des chiffres vérifiés.

Pourquoi les données s'éloignent de la téléopération

Il y a encore un an, la téléopération constituait la principale source de trajectoires d'entraînement pour les manipulateurs : un opérateur, casque VR sur la tête ou gant en main, pilote le robot pendant que le système enregistre ses actions. Cette méthode produit des données propres, dans le format « natif » du robot, mais elle présente trois faiblesses. Elle coûte cher, car il faut un opérateur, un parc de robots et un site. Elle est lente : une heure d'enregistrement prend exactement une heure de temps réel. Enfin, elle passe mal à l'échelle géographique, puisque chaque nouvelle scène exige une présence physique.

La vidéo d'humains fonctionne autrement. Une personne équipée d'une caméra sur la tête peut filmer le quotidien, la cuisine, l'assemblage et n'importe quelle motricité fine, sans robot à proximité. D'où l'ampleur d'EgoScale. Des travaux comme HumanScale, d'après l'annonce de Jiqizhixin, vont plus loin et estiment que la vidéo pourrait devenir la source de données principale.

Quelle place pour le matériel ?

La vidéo a un prix : l'écart entre le corps humain et celui du robot. La main humaine possède des dizaines de degrés de liberté et un sens du toucher. Une pince à deux doigts ne peut pas reproduire ce que montre la vidéo. Plus la cinématique de la main du robot se rapproche de celle de l'humain, moins le transfert du mouvement de la vidéo vers la politique de contrôle entraîne de pertes.

C'est pourquoi la manipulation dextre se découpe mal en deux tâches indépendantes, « fabriquer la main » et « entraîner le modèle ». Le choix de conception de la main détermine les données exploitables. Le format des données détermine l'architecture du modèle. Le modèle, à son tour, impose des exigences aux capteurs. Le titre de l'article de Jiqizhixin indique que Sharpa cherche à parcourir toute cette chaîne, plutôt qu'à optimiser un seul maillon.

Les repères clés

• Volume de pré-entraînement d'EgoScale : 20 854 heures de vidéo égocentrique d'humains.
• Régularité observée : une courbe log-linéaire entre le volume de données et la qualité de la politique.
• Goulot d'étranglement de la téléopération : coût, vitesse d'enregistrement et difficulté du passage à l'échelle.
• Approche de Sharpa : un enchaînement « matériel – données – modèle » pour la manipulation dextre.
• Question ouverte : le fragment de l'article ne contient aucune métrique publique comparable pour Sharpa.

Ce qu'il faudra surveiller

Une courbe log-linéaire implique des rendements décroissants : chaque doublement des données apporte à peu près le même gain. Pour les développeurs, c'est un signal pratique, qui aide à planifier le budget des données à l'avance. Pour les équipes qui conçoivent leurs propres mains et manipulateurs, la conclusion est différente : la compatibilité de la cinématique avec celle de l'humain devient un avantage concurrentiel, car elle ouvre l'accès à d'immenses corpus de vidéo.

Pour évaluer ce type de systèmes, trois points méritent d'être vérifiés. Premièrement, sur quelles tâches le succès est mesuré, et si elles incluent de longues opérations avec de petits objets. Deuxièmement, quelle part des données provient de la vidéo et quelle part de la téléopération pour l'ajustement fin. Troisièmement, si les résultats se reproduisent sur d'autres plateformes, et pas seulement sur la main « native » des auteurs. Tant que ces questions n'ont pas de réponses publiques, les déclarations sur l'approche systémique restent une ambition, et non un résultat démontré.