EgoX fusionne caméra, mains et objets en une seule scène 3D, avec une erreur sur les mains réduite de 65,6 %

L'équipe d'EgoXperience propose une méthode pour reconstruire l'activité humaine à partir de vidéos à la première personne, de sorte que la trajectoire de l'observateur, la géométrie de la pièce, les mains et les objets qu'elles manipulent restent cohérents entre eux. Le modèle EgoX reçoit une vidéo monoculaire et les masques d'objets de la première image. En une seule passe directe, il produit une reconstruction 3D métrique de la caméra, de la scène, des mains et des objets dans un repère mondial commun.

Par rapport aux meilleures méthodes de référence testées, l'erreur de caméra baisse de 68,9 %, l'erreur sur les mains de 65,6 % et l'erreur de profondeur de 42,9 %, tandis que l'estimation de la pose des objets gagne 28,0 %.

Un problème de cohérence, pas de composants isolés

La vidéo égocentrique est difficile pour une raison évidente : la caméra, fixée sur la tête, bouge en permanence, les mains masquent les objets et la scène n'apparaît que par fragments. Les approches existantes traitent en général une seule sous-tâche. Les unes estiment la pose de la caméra, d'autres reconstruisent les mains, d'autres encore s'occupent de la profondeur ou de la pose des objets. Lorsqu'on assemble ces résultats, ils concordent souvent mal : la main « flotte » dans l'air par rapport à la table, et l'objet s'écarte de la trajectoire de la caméra.

Pour les auteurs, la cohérence exige deux conditions : une reconstruction conjointe et une annotation alignée. Selon eux, les méthodes et les jeux de données actuels prennent mal en charge ces deux points. Ils ont donc construit non seulement un modèle, mais toute la chaîne : collecte de données, annotation automatique, modèle unique et benchmark.

Comment fonctionne la chaîne

Le cœur du dispositif est le moteur d'annotation automatique EgoX-Engine. Il associe un suivi d'objets vérifié géométriquement à un alignement en coordonnées mondiales fondé sur le SLAM. La caméra, la scène, les mains et les objets sont ainsi annotés dans un même repère et restent cohérents entre eux. L'annotation se fait sans travail manuel image par image, ce qui rend un tel jeu de données abordable en coût.

Le résultat est le jeu de données EgoX-Data-6M : 50 heures de vidéo de manipulations et de déplacements orientés tâches, en intérieur comme en extérieur, y compris lors des transitions entre les deux. Les vidéos s'accompagnent de légendes de tâches à la seconde près. Dans ce corpus, les auteurs ont sélectionné une heure couvrant différentes catégories d'activité et en ont fait EgoX-Bench, destiné à évaluer la reconstruction conjointe. Le modèle EgoX lui-même a été entraîné sur EgoX-Data-6M et sur des annotations complémentaires issues d'autres jeux de données publics.

Principales caractéristiques et résultats

• Entrée : vidéo égocentrique monoculaire et masques d'objets dans la première image.
• Sortie : reconstruction métrique de la caméra, de la scène, des mains et des objets dans un repère mondial unique.
• Mode de fonctionnement : une seule passe directe, sans étapes d'optimisation distinctes d'après le texte de l'abstract.
• Jeu de données : EgoX-Data-6M, 50 heures, manipulation et déplacement en intérieur et en extérieur, légendes à la seconde près.
• Benchmark : EgoX-Bench, une heure de vidéo couvrant différentes catégories d'activité.
• Erreur de caméra : baisse de 68,9 % par rapport aux meilleures baselines testées.
• Erreur sur les mains : baisse de 65,6 %.
• Erreur de profondeur : baisse de 42,9 %.
• Estimation de la pose des objets : hausse de 28,0 %.

À quoi cela peut servir

La robotique est le premier destinataire. Les données sur la manière dont une personne saisit des objets et se déplace dans l'espace sont nécessaires pour apprendre la manipulation à partir de démonstrations. Si l'on peut extraire automatiquement les mains et les objets en coordonnées métriques à partir d'une simple vidéo à la première personne, la barrière à la collecte de telles démonstrations baisse nettement. Le second destinataire, ce sont la réalité augmentée et les lunettes intelligentes, qui doivent comprendre la scène et les actions de l'utilisateur par rapport à l'espace réel.

Les limites sont également visibles. Le modèle a besoin des masques d'objets dans la première image : on ne peut donc pas encore parler de système entièrement autonome. Avec 50 heures, le jeu de données reste modeste à l'échelle des modèles vidéo, et un benchmark d'une heure ne donne qu'une image limitée de la capacité de généralisation.

Les chiffres sont fournis par les auteurs eux-mêmes et portent sur les baselines qu'ils ont choisies. Pour les praticiens, la question principale est de savoir si le code, les poids et les données seront ouverts, et dans quelle mesure le résultat se reproduit sur des appareils de capture tiers. Si c'est le cas, EgoX-Bench pourrait devenir un point de comparaison commun pratique pour les méthodes de reconstruction conjointe.