EgoX reúne cámara, manos y objetos en una sola escena 3D y es un 65,6% más preciso en las manos

El equipo de EgoXperience ha propuesto un método para reconstruir la actividad humana a partir de vídeo en primera persona de modo que la trayectoria del observador, la geometría de la habitación, las manos y los objetos no se contradigan entre sí. El modelo EgoX recibe un vídeo monocular y las máscaras de los objetos del primer fotograma. En un solo paso directo devuelve una reconstrucción 3D métrica de la cámara, la escena, las manos y los objetos en un sistema de coordenadas global común.

Frente a los mejores métodos base probados, el error de cámara se reduce un 68,9%, el de las manos un 65,6% y el de profundidad un 42,9%, mientras que la estimación de la pose de objetos mejora un 28,0%.

Un problema de coherencia, no de componentes aislados

El vídeo egocéntrico es difícil por una razón evidente: la cámara montada en la cabeza se mueve constantemente, las manos tapan los objetos y la escena solo se ve por fragmentos. Los enfoques existentes suelen resolver una única subtarea. Unos estiman la pose de la cámara, otros reconstruyen las manos y otros se ocupan de la profundidad o de la pose de los objetos. Al combinar los resultados, a menudo no encajan: la mano «flota» en el aire respecto a la mesa o el objeto se desvía de la trayectoria de la cámara.

Los autores sostienen que la coherencia exige dos cosas: reconstrucción conjunta y anotación alineada. En su opinión, los métodos y datasets actuales respaldan mal ambas. Por eso no construyeron solo un modelo, sino todo el pipeline: recopilación de datos, anotación automática, un modelo unificado y un benchmark.

Cómo funciona el pipeline

El elemento central es el motor de anotación automática EgoX-Engine. Combina un tracking de objetos verificado geométricamente con una alineación a coordenadas globales basada en SLAM. Así, cámara, escena, manos y objetos se anotan en un mismo sistema y quedan coordinados entre sí. La anotación se genera sin trabajo manual fotograma a fotograma, y eso es lo que hace asumible el coste de un dataset como este.

El resultado es el dataset EgoX-Data-6M: 50 horas de vídeo con manipulaciones orientadas a tareas y desplazamientos en interiores y exteriores, incluidas las transiciones entre ambos. Los vídeos incluyen descripciones de las tareas con precisión de segundos. De ese conjunto, los autores seleccionaron una hora de distintas categorías de actividad y la presentaron como EgoX-Bench para evaluar la reconstrucción conjunta. El propio modelo EgoX se entrenó con EgoX-Data-6M y con anotaciones adicionales de otros datasets públicos.

Características clave y resultados

• Entrada: vídeo egocéntrico monocular y máscaras de objetos en el primer fotograma.
• Salida: reconstrucción métrica de la cámara, la escena, las manos y los objetos en un único sistema de coordenadas global.
• Modo de funcionamiento: un solo paso directo, sin etapas de optimización separadas según el texto del abstract.
• Dataset: EgoX-Data-6M, 50 horas, manipulación y desplazamiento en interiores y exteriores, con descripciones de precisión de segundos.
• Benchmark: EgoX-Bench, una hora de vídeo de distintas categorías de actividad.
• Error de cámara: reducción del 68,9% respecto a los mejores baselines probados.
• Error de manos: reducción del 65,6%.
• Error de profundidad: reducción del 42,9%.
• Estimación de la pose de objetos: mejora del 28,0%.

Dónde puede resultar útil

El primer destinatario es la robótica. Los datos sobre cómo una persona coge objetos y se mueve por el espacio son necesarios para entrenar la manipulación a partir de demostraciones. Si de un vídeo corriente en primera persona se pueden obtener automáticamente manos y objetos en coordenadas métricas, la barrera para recopilar este tipo de demostraciones baja de forma notable. El segundo destinatario son la AR y las gafas inteligentes, que necesitan entender la escena y las acciones del usuario en relación con el espacio real.

También se ven las limitaciones. El modelo necesita máscaras de objetos en el primer fotograma, así que por ahora no se puede considerar un sistema totalmente autónomo. Las 50 horas del dataset son un tamaño modesto para los estándares de los modelos de vídeo, y un benchmark de una hora ofrece solo una imagen limitada de la capacidad de generalización.

Las cifras las aportan los propios autores y se refieren a los baselines que ellos eligieron. Para los profesionales, la pregunta principal es si se publicarán el código, los pesos y los datos, y hasta qué punto el resultado se reproduce con dispositivos de captura ajenos. Si es así, EgoX-Bench podría convertirse en un punto de comparación común y cómodo para los métodos de reconstrucción conjunta.