EgoX собирает камеру, руки и объекты в одну 3D-сцену и на 65,6% точнее по рукам

Команда авторов EgoXperience предложила способ реконструировать человеческую активность по видео от первого лица так, чтобы траектория наблюдателя, геометрия комнаты, руки и предметы в них не противоречили друг другу. Модель EgoX получает монокулярный ролик и маски объектов в первом кадре, а за один прямой проход выдаёт метрическую 3D-реконструкцию камеры, сцены, рук и объектов в общей мировой системе координат. По сравнению с сильнейшими из проверенных базовых методов ошибка камеры снижена на 68,9%, ошибка рук на 65,6%, ошибка глубины на 42,9%, а оценка позы объектов выросла на 28,0%.

Проблема согласованности, а не отдельных компонентов

Эгоцентричное видео сложно по очевидной причине: камера на голове всё время движется, руки закрывают предметы, а сцена видна фрагментами. Существующие подходы обычно решают одну подзадачу. Одни оценивают позу камеры, другие восстанавливают руки, третьи занимаются глубиной или позой объектов. Если склеить результаты, они часто не сходятся: рука «висит» в воздухе относительно стола, а объект уезжает от траектории движения камеры.

Авторы считают, что для согласованности нужны две вещи: совместная реконструкция и выровненная разметка. Обе, по их оценке, плохо поддерживаются текущими методами и датасетами. Поэтому они собрали не только модель, но весь конвейер: сбор данных, автоматическую аннотацию, единую модель и бенчмарк.

Как устроен конвейер

Основной элемент — движок автоматической разметки EgoX-Engine. Он связывает геометрически проверенный трекинг объектов с выравниванием в мировые координаты на основе SLAM. В результате камера, сцена, руки и объекты размечаются в одной системе и согласованы между собой. Разметка получается без ручной работы по каждому кадру, что и делает такой датасет достижимым по стоимости.

На выходе получился датасет EgoX-Data-6M: 50 часов видео с задачными манипуляциями и перемещениями в помещениях и на улице, включая переходы между ними. К роликам прилагаются подписи задач с точностью до секунд. Из этого массива авторы отобрали один час по разным категориям активности и оформили его как EgoX-Bench для оценки совместной реконструкции. Сама модель EgoX обучалась на EgoX-Data-6M и дополнительных аннотациях из других публичных датасетов.

Ключевые характеристики и результаты

• Вход: монокулярное эгоцентричное видео и маски объектов в первом кадре.
• Выход: метрическая реконструкция камеры, сцены, рук и объектов в единой мировой системе координат.
• Режим работы: один прямой проход, без отдельных этапов оптимизации в тексте аннотации.
• Датасет: EgoX-Data-6M, 50 часов, манипуляция и перемещение в помещениях и на улице, подписи с точностью до секунд.
• Бенчмарк: EgoX-Bench, один час видео по разным категориям активности.
• Ошибка камеры: снижение на 68,9% относительно сильнейших проверенных бейзлайнов.
• Ошибка рук: снижение на 65,6%.
• Ошибка глубины: снижение на 42,9%.
• Оценка позы объектов: рост на 28,0%.

Где это может пригодиться

Первый адресат — робототехника. Данные о том, как человек берёт предметы и двигается по пространству, нужны для обучения манипуляции по демонстрациям. Если из обычного видео от первого лица можно автоматически получать руки и объекты в метрических координатах, барьер для сбора таких демонстраций заметно снижается. Второй адресат — AR и умные очки, где нужно понимать сцену и действия пользователя относительно реального пространства.

Ограничения тоже видны. Модели нужны маски объектов в первом кадре, то есть полностью автономной системой это пока не назвать. Размер датасета в 50 часов скромен по меркам видеомоделей, а бенчмарк длиной в час даёт лишь ограниченную картину обобщения. Цифры приведены самими авторами и относятся к выбранным ими бейзлайнам. Для практиков главный вопрос — будут ли открыты код, веса и данные и насколько результат повторяется на чужих устройствах съёмки. Если да, EgoX-Bench может стать удобной общей точкой сравнения для методов совместной реконструкции.