EgoX يجمع الكاميرا واليدين والأجسام في مشهد ثلاثي الأبعاد واحد، وبدقة أعلى بنسبة 65,6% في اليدين

اقترح فريق EgoXperience طريقة لإعادة بناء النشاط البشري من فيديو بمنظور الشخص الأول، بحيث تأتي مسارات المراقب وهندسة الغرفة واليدان والأشياء التي تحملهما متسقة فيما بينها دون تناقض. يتلقى نموذج EgoX مقطعًا أحادي العدسة وأقنعة الأجسام في الإطار الأول، ويُخرج في مرور مباشر واحد إعادة بناء مترية ثلاثية الأبعاد للكاميرا والمشهد واليدين والأجسام في نظام إحداثيات عالمي مشترك. وبالمقارنة مع أقوى الطرق المرجعية التي جرى اختبارها، انخفض خطأ الكاميرا بنسبة 68,9%، وخطأ اليدين بنسبة 65,6%، وخطأ العمق بنسبة 42,9%، بينما ارتفع تقدير وضعية الأجسام بنسبة 28,0%.

مشكلة الاتساق، لا المكونات المنفردة

تكمن صعوبة الفيديو المتمركز حول الذات في سبب واضح: الكاميرا المثبتة على الرأس تتحرك طوال الوقت، واليدان تحجبان الأشياء، ولا يظهر المشهد إلا على شكل أجزاء. وتعالج المقاربات الحالية عادةً مهمة فرعية واحدة؛ فبعضها يقدّر وضعية الكاميرا، وبعضها يعيد بناء اليدين، وبعضها الآخر يتناول العمق أو وضعية الأجسام. وإذا ضُمّت هذه النتائج معًا، فكثيرًا ما لا تتطابق: تبدو اليد «معلقة» في الهواء بالنسبة إلى الطاولة، ويبتعد الجسم عن مسار حركة الكاميرا.

يرى المؤلفون أن الاتساق يتطلب أمرين: إعادة بناء مشتركة وتوسيمًا متسق المرجعية. وبتقديرهم، لا تدعم الطرق ومجموعات البيانات الحالية أيًّا منهما جيدًا. لذلك لم يبنوا نموذجًا فحسب، بل بنوا خط العمل كاملًا: جمع البيانات والتوسيم الآلي ونموذجًا موحدًا ومعيارًا اختباريًا.

كيف يعمل خط المعالجة

العنصر الأساسي هو محرك التوسيم الآلي EgoX-Engine. يربط هذا المحرك تتبعًا للأجسام جرى التحقق منه هندسيًا بمحاذاة إلى الإحداثيات العالمية قائمة على SLAM. ونتيجة لذلك، يُوسَم كل من الكاميرا والمشهد واليدين والأجسام في نظام واحد، وتتسق مع بعضها. ولا يتطلب التوسيم عملًا يدويًا على كل إطار، وهذا ما يجعل مجموعة بيانات كهذه ممكنة من حيث التكلفة.

وكانت المحصلة مجموعة البيانات EgoX-Data-6M: 50 ساعة من الفيديو تتضمن مناولات ذات مهام وتنقلات داخل المباني وخارجها، بما في ذلك الانتقال بينهما. وتُرفق بالمقاطع أوصاف للمهام بدقة تصل إلى الثواني. ومن هذا الحجم اختار المؤلفون ساعة واحدة موزعة على فئات نشاط مختلفة، وصاغوها في EgoX-Bench لتقييم إعادة البناء المشتركة. أما نموذج EgoX نفسه فقد دُرّب على EgoX-Data-6M وعلى توسيمات إضافية من مجموعات بيانات عامة أخرى.

أبرز الخصائص والنتائج

• المدخل: فيديو أحادي العدسة متمركز حول الذات وأقنعة الأجسام في الإطار الأول.
• المخرج: إعادة بناء مترية للكاميرا والمشهد واليدين والأجسام في نظام إحداثيات عالمي موحد.
• نمط التشغيل: مرور مباشر واحد، دون ذكر مراحل تحسين منفصلة في نص الملخص.
• مجموعة البيانات: EgoX-Data-6M، 50 ساعة، مناولة وتنقل داخل المباني وخارجها، وأوصاف بدقة الثواني.
• المعيار الاختباري: EgoX-Bench، ساعة واحدة من الفيديو موزعة على فئات نشاط مختلفة.
• خطأ الكاميرا: انخفاض بنسبة 68,9% مقارنةً بأقوى الخطوط المرجعية التي جرى اختبارها.
• خطأ اليدين: انخفاض بنسبة 65,6%.
• خطأ العمق: انخفاض بنسبة 42,9%.
• تقدير وضعية الأجسام: ارتفاع بنسبة 28,0%.

أين قد يفيد هذا

أول المستفيدين هو الروبوتات. فالبيانات عن كيفية التقاط الإنسان للأشياء وتحركه في الفضاء لازمة لتعليم المناولة بالاستناد إلى العروض التوضيحية. وإذا أمكن استخراج اليدين والأجسام تلقائيًا بإحداثيات مترية من فيديو عادي بمنظور الشخص الأول، فإن عائق جمع هذه العروض ينخفض بوضوح. والمستفيد الثاني هو الواقع المعزز والنظارات الذكية، حيث يلزم فهم المشهد وأفعال المستخدم بالنسبة إلى الفضاء الحقيقي.

والقيود ظاهرة أيضًا. يحتاج النموذج إلى أقنعة للأجسام في الإطار الأول، أي أنه لا يمكن وصفه بعد بأنه نظام مستقل بالكامل. كما أن حجم مجموعة البيانات البالغ 50 ساعة متواضع بمقاييس نماذج الفيديو، ولا يعطي معيار مدته ساعة سوى صورة محدودة عن القدرة على التعميم. والأرقام أوردها المؤلفون أنفسهم، وهي تخص الخطوط المرجعية التي اختاروها. وبالنسبة للممارسين، السؤال الرئيسي هو: هل ستُتاح الشيفرة والأوزان والبيانات للعموم، وإلى أي مدى تتكرر النتيجة على أجهزة تصوير أخرى. وإذا تحقق ذلك، فقد يصبح EgoX-Bench نقطة مقارنة مشتركة مناسبة لطرق إعادة البناء المشتركة.