L'équipe de Tsinghua lance HandsOn : 66 tâches pour tester la dextérité des robots

Des chercheurs de l'Université Tsinghua ont publié HandsOn, un benchmark pour évaluer la manipulation dextre des robots. Il regroupe 66 tâches qui testent la façon dont une machine se sert de deux mains multidoigts à la fois : de la prise en main et du transport d'objets jusqu'à l'usage d'outils et aux contacts délicats. Les auteurs partent d'un constat simple : il est temps de réécrire les « sujets d'examen » des mains robotiques, car les anciens ont été conçus pour un autre matériel.

Pourquoi les anciens tests ne fonctionnent plus

Pendant des décennies, la plupart des benchmarks de manipulation populaires ont été construits autour de préhenseurs parallèles, c'est-à-dire de deux « mâchoires » qui serrent un objet. Pour cette mécanique, le jeu de tâches est évident : saisir, déplacer, insérer, appuyer. Il n'y a rien d'autre à évaluer que la précision du positionnement et l'enchaînement des actions.

Une main multidoigts fonctionne différemment. Elle compte des dizaines de degrés de liberté, ses doigts peuvent agir indépendamment, et un même objet peut être tenu de multiples façons. Un test qui se résume à « attraper et poser » ne dit pas si le robot sait réorienter un objet dans la paume, utiliser un tournevis ou maintenir délicatement d'une main ce sur quoi l'autre travaille. HandsOn comble cette lacune et place le travail à deux mains au cœur de l'évaluation.

Les données ego, carburant des mains dextres

La seconde raison d'être du benchmark tient aux données. Les enregistrements d'actions humaines à la première personne sont de plus en plus nombreux : des caméras fixées sur la tête ou sur des lunettes filment la façon dont les gens saisissent des objets, utilisent des outils et réalisent des gestes de contact précis. Ces jeux de données montrent ce qu'il est difficile de collecter autrement, à savoir la motricité fine naturelle dans des scénarios domestiques et professionnels.

Ces données sont peu exploitables avec une pince parallèle : il faut fortement simplifier les mouvements de la main humaine. Une main dextre ressemble à la main humaine par sa structure, et l'annotation « comment fait l'humain » peut être transférée au robot avec bien moins de pertes. D'où la logique des auteurs : si l'industrie compte entraîner des robots à partir de vidéos ego, elle a besoin d'un système de mesure commun des résultats, faute de quoi il sera impossible de comparer les approches.

Ce que l'on sait de HandsOn :

• 66 tâches dans un seul jeu ;
• accent mis sur les mains dextres multidoigts, et non sur les préhenseurs parallèles ;
• scénarios à deux mains traités comme un objet d'évaluation à part entière ;
• catégories d'actions : prise en main, usage d'outils, contact fin ;
• développeur : un groupe de recherche de l'Université Tsinghua.

À qui cela servira concrètement

Les premiers utilisateurs du benchmark seront les équipes qui développent des politiques de contrôle pour des humanoïdes et des manipulateurs équipés de mains dextres. Un jeu de tâches unique permet de comparer des modèles entraînés sur de la vidéo humaine avec des approches fondées sur la téléopération et sur la simulation, sans devoir inventer à chaque fois ses propres scènes. Pour les fabricants de matériel, c'est l'occasion de repérer où la conception des doigts ou des capteurs tactiles devient un goulot d'étranglement.

L'effet est aussi plus terre à terre. Tant qu'il n'existe pas de test communément admis pour les mains dextres, toute affirmation de « dextérité humaine » reste une démonstration sur des vidéos bien choisies. Un jeu standardisé de 66 tâches relève le prix de ces affirmations : le résultat est reproductible sur des tâches communes, ou il ne l'est pas. Pour les investisseurs et les clients qui doivent choisir entre plusieurs plateformes, c'est l'un des rares moyens de distinguer un progrès réel d'une vidéo bien montée.

Le succès de HandsOn dépendra de son adoption par d'autres laboratoires. S'il s'impose, il pourrait devenir pour les mains dextres ce que les anciens jeux de tests standard sont devenus pour la manipulation avec préhenseurs : un langage commun pour comparer les modèles.