Les humanoïdes apprennent à servir au tennis comme des pros : planificateur et suiveur séparés

Les robots humanoïdes ont réalisé des progrès notables dans l'exécution de tâches liées aux sports de balle, mais combiner un style de mouvement professionnel avec une réalisation fiable de la tâche reste un problème ouvert. Noitom Robotics et IEEE Spectrum ont publié un livre blanc décrivant une architecture adaptative de planification et de suivi des mouvements. Cette architecture permet aux humanoïdes d'apprendre à exécuter des services et des échanges au tennis tout en conservant le style des athlètes professionnels.

Architecture : la séparation des fonctions

L'approche traditionnelle réunit la génération de trajectoires cinématiques et le suivi de leur exécution au sein d'un seul système. Cela crée une contradiction inévitable : les exigences liées à des mouvements esthétiques et stylistiquement corrects entrent en conflit avec celles d'un suivi précis. La solution consiste à séparer explicitement le système en deux niveaux hiérarchiques.

Le planificateur de haut niveau génère des trajectoires cinématiques qui préservent le style caractéristique d'un athlète professionnel. Le suiveur de bas niveau est chargé de la mise en œuvre physique précise de ces trajectoires avec un minimum de distorsion. Les données sources sont extraites de retransmissions d'événements sportifs et d'enregistrements de capture de mouvement de joueurs de tennis professionnels. Ces données passent par un processus de reconstruction, de réadaptation à l'anatomie du robot et de correction physique, afin de garantir une exécution sûre et réaliste des mouvements sur la plateforme humanoïde.

Franchir le fossé sim-to-real

L'un des principaux défis lors du transfert d'une politique entraînée en simulation vers du matériel réel réside dans le fait que les erreurs de suivi des mouvements s'accumulent de manière exponentielle. Dans les systèmes de planification autorégressifs, une petite erreur à une étape temporelle entraîne des erreurs cumulatives aux étapes suivantes, avec le risque d'une instabilité et d'un échec de la tâche.

Les chercheurs ont mis en œuvre une approche à deux niveaux : le suiveur de bas niveau est entraîné à exécuter les mouvements à des vitesses variées, choisies de façon aléatoire, ce qui accroît sa robustesse face au bruit de perception et aux imprécisions du monde réel. Parallèlement, le planificateur de haut niveau apprend une représentation conditionnelle de la vitesse de mouvement (learned motion-speed representation), lui permettant de choisir la vitesse de façon adaptative selon l'état et les conditions. Cette combinaison d'approches réduit significativement les erreurs cumulatives qui apparaissent habituellement lors du transfert de la simulation vers le matériel réel.

Validation et résultats pratiques

L'architecture a été testée sur deux plateformes humanoïdes distinctes : un robot de recherche et un humanoïde grandeur réelle. Le résultat le plus marquant est celui du robot grandeur réelle effectuant des services de tennis en environnement non contrôlé (in-the-wild serving), sans recourir à un système de capture de mouvement. Cela démontre l'applicabilité pratique en conditions réelles, lorsque le robot ne s'appuie que sur ses capteurs embarqués et sa perception visuelle.

Le livre blanc se termine par des recommandations pratiques destinées aux ingénieurs qui développent des systèmes de robots humanoïdes sportifs. L'étude couvre le suivi adaptatif des mouvements, le robot-sport dans les disciplines de balle, l'architecture hiérarchique de contrôle des mouvements, le pilotage des mouvements des humanoïdes, l'apprentissage à partir de vidéos et de données de capture de mouvement, la planification et le suivi des mouvements, la réadaptation des mouvements à des anatomies différentes, le style de mouvement, le déploiement de robots en conditions réelles, l'apprentissage par renforcement, la perception robotique, les robots sportifs, le transfert sim-to-real et le contrôle du corps entier du robot.