EgoX reúne câmera, mãos e objetos em uma só cena 3D e é 65,6% mais preciso nas mãos

A equipe por trás do EgoXperience propôs um método para reconstruir atividade humana a partir de vídeo em primeira pessoa de modo que a trajetória do observador, a geometria do ambiente, as mãos e os objetos manipulados não se contradigam. O modelo EgoX recebe um vídeo monocular e as máscaras dos objetos no primeiro quadro e, em uma única passada direta, entrega a reconstrução 3D métrica da câmera, da cena, das mãos e dos objetos em um sistema de coordenadas global comum. Em relação aos melhores métodos de base testados, o erro de câmera caiu 68,9%, o erro das mãos caiu 65,6%, o erro de profundidade caiu 42,9%, e a estimativa de pose de objetos subiu 28,0%.

Um problema de consistência, não de componentes isolados

O vídeo egocêntrico é difícil por um motivo evidente: a câmera presa à cabeça se move o tempo todo, as mãos escondem os objetos e a cena aparece apenas em fragmentos. As abordagens existentes costumam resolver uma única subtarefa. Algumas estimam a pose da câmera, outras reconstroem as mãos, e outras ainda cuidam da profundidade ou da pose dos objetos. Quando se juntam os resultados, eles muitas vezes não batem: a mão fica "flutuando" em relação à mesa, e o objeto se desloca fora da trajetória de movimento da câmera.

Os autores avaliam que a consistência exige duas coisas: reconstrução conjunta e anotação alinhada. Na avaliação deles, os métodos e datasets atuais oferecem pouco suporte a ambas. Por isso, construíram não só um modelo, mas todo o pipeline: coleta de dados, anotação automática, um modelo unificado e um benchmark.

Como funciona o pipeline

O elemento central é o EgoX-Engine, motor de anotação automática. Ele combina rastreamento de objetos com verificação geométrica e alinhamento a coordenadas globais baseado em SLAM. Com isso, câmera, cena, mãos e objetos são anotados em um mesmo sistema e ficam coerentes entre si. A anotação dispensa trabalho manual quadro a quadro, e é isso que torna um dataset desse tipo viável em termos de custo.

O resultado é o dataset EgoX-Data-6M: 50 horas de vídeo com manipulações orientadas a tarefas e deslocamentos em ambientes internos e externos, incluindo as transições entre eles. Os vídeos vêm acompanhados de legendas das tarefas com precisão de segundos. Desse acervo, os autores selecionaram uma hora cobrindo diferentes categorias de atividade e a formataram como EgoX-Bench, para avaliar a reconstrução conjunta. O próprio modelo EgoX foi treinado no EgoX-Data-6M e em anotações adicionais de outros datasets públicos.

Principais características e resultados

• Entrada: vídeo egocêntrico monocular e máscaras dos objetos no primeiro quadro.
• Saída: reconstrução métrica da câmera, da cena, das mãos e dos objetos em um sistema de coordenadas global único.
• Modo de operação: uma única passada direta; o texto do resumo do trabalho não menciona etapas separadas de otimização.
• Dataset: EgoX-Data-6M, 50 horas, manipulação e deslocamento em ambientes internos e externos, legendas com precisão de segundos.
• Benchmark: EgoX-Bench, uma hora de vídeo em diferentes categorias de atividade.
• Erro de câmera: redução de 68,9% em relação aos baselines mais fortes testados.
• Erro das mãos: redução de 65,6%.
• Erro de profundidade: redução de 42,9%.
• Estimativa de pose de objetos: aumento de 28,0%.

Onde isso pode ser útil

O primeiro destino é a robótica. Dados sobre como uma pessoa pega objetos e se move pelo espaço são necessários para treinar manipulação a partir de demonstrações. Se for possível extrair mãos e objetos em coordenadas métricas automaticamente de vídeos comuns em primeira pessoa, a barreira para coletar essas demonstrações cai de forma significativa. O segundo destino são AR e óculos inteligentes, que precisam entender a cena e as ações do usuário em relação ao espaço real.

As limitações também são visíveis. O modelo precisa das máscaras dos objetos no primeiro quadro, ou seja, ainda não dá para chamá-lo de sistema totalmente autônomo. Um dataset de 50 horas é modesto para os padrões de modelos de vídeo, e um benchmark de uma hora oferece apenas um retrato limitado da capacidade de generalização. Os números foram apresentados pelos próprios autores e se referem aos baselines que eles escolheram. Para quem trabalha na prática, a questão principal é se código, pesos e dados serão abertos e até que ponto o resultado se repete em dispositivos de captura de terceiros. Se sim, o EgoX-Bench pode se tornar um ponto de comparação comum e conveniente para métodos de reconstrução conjunta.