HumanoidPose estime la pose d'un humanoïde à partir d'une vidéo et réduit l'erreur sur les angles de 18 à 32 %

Des chercheurs ont présenté HumanoidPose, un modèle qui reconstruit, à partir d'une vidéo ordinaire, la configuration complète des articulations d'un robot humanoïde dans le repère monde. Sur trois plateformes humanoïdes réelles, il réduit l'erreur sur les angles articulaires de 18 à 32 % par rapport à la meilleure méthode de référence pour chaque plateforme. L'essentiel des données d'entraînement est synthétique : les mouvements humains ont été transposés sur 16 conceptions d'humanoïdes différentes.

La vision à la place des capteurs

Les auteurs appellent cette tâche « la vision comme proprioception ». En général, un robot connaît la position de ses articulations grâce à ses capteurs embarqués. Mais lorsqu'il interagit avec une machine tierce, ces données sont souvent inaccessibles : confidentialité, questions de propriété ou limites de la liaison de communication font obstacle. Il existe aussi un second problème. Les vidéos de robots disponibles en ligne, comme les clips générés par IA, se comptent en volumes énormes, mais elles ne sont pas accompagnées des angles articulaires. Il est donc impossible d'exploiter directement ces enregistrements pour entraîner des robots.

HumanoidPose répond aux deux problèmes : il n'a besoin que de la séquence vidéo, et il restitue en sortie la pose du corps entier.

Comment le modèle est construit

Le modèle repose sur la combinaison de deux sources. Des caractéristiques préentraînées pour l'estimation de la pose humaine sont fusionnées avec la cinématique du robot dans un modèle unique, qui prédit la configuration des articulations pour chaque conception donnée. Pour constituer les données d'entraînement, les auteurs ont retargeté les mouvements humains sur 16 humanoïdes. L'annotation est alors automatique, puisque les angles articulaires sont connus par construction.

Les données synthétiques se transfèrent généralement mal aux images réelles. L'équipe a donc ajouté un apprentissage auto-supervisé : des vidéos en ligne non annotées servent à créer un détecteur de pose 2D du robot. Celui-ci vise précisément à assurer la robustesse sur des enregistrements réels, où l'éclairage, les angles de prise de vue et l'arrière-plan diffèrent de la simulation.

Ce que montrent les mesures

• La précision sur les angles et la position des articulations est supérieure à celle de toutes les méthodes de référence comparées.
• L'erreur sur les angles articulaires est inférieure de 18 à 32 % à celle de la meilleure méthode de référence, sur chacune des trois plateformes humanoïdes réelles.
• La localisation globale, c'est-à-dire la position du robot dans le repère monde, est améliorée.
• Le modèle généralise mieux à des conceptions absentes de l'entraînement.

Les limites sont aussi visibles. La description ne précise pas si le système fonctionne en temps réel, quelle est sa robustesse face aux occultations, ni quelles plateformes exactes ont été retenues pour le test. Les chiffres ont été obtenus face à un ensemble de méthodes de référence choisi par les auteurs, et aucune vérification indépendante n'existe pour l'instant.

À quoi cela peut servir

Premier scénario : un robot doit comprendre ce que fait une autre machine à proximité, sans avoir accès à sa télémétrie. Une caméra suffit pour estimer la pose d'un partenaire ou d'un concurrent dans l'espace de travail.

Le second scénario compte davantage pour les développeurs. Si l'on peut obtenir les angles articulaires à partir de la vidéo, les clips en ligne et les générations de modèles vidéo deviennent une source de trajectoires pour entraîner des politiques. La collecte de données coûteuse sur du matériel réel pourrait être en partie remplacée par des archives vidéo, à condition que la qualité de l'estimation de pose résiste à la validation sur vos plateformes. Pour les équipes qui travaillent avec des humanoïdes, il faudra surveiller si les auteurs publieront le code et les poids : c'est de cela que dépend le sort de HumanoidPose, entre outil utilisable et simple article de recherche.