LVSPM تتفوق على VGGT في تقدير أوضاع الكاميرا عند 16–256 إطارًا ولا تنهار في المشاهد الكبيرة

قدّم باحثون نموذج LVSPM، وهو نموذج يستقبل مجموعة صور دون معايرة ويحلّ مهمتين في تمريرة واحدة: يقدّر أوضاع الكاميرات ويولّد زوايا جديدة للمشهد. يتراوح مدخل النموذج بين 16 و256 إطارًا. وعلى ثلاثة معايير قياس (RealEstate10k وCo3Dv2 وDL3DV) يتفوق النموذج على VGGT في دقة تقدير الأوضاع، بحسب ما يذكره المؤلفون. وفي توليف المناظر يتجاوز في PSNR حتى النماذج التي تُعطى أوضاع الكاميرات مسبقًا. الشيفرة البرمجية منشورة.

مهمتان بدل خط معالجة متسلسل

يبدو المسار التقليدي للحصول على زوايا جديدة على النحو التالي: تحسب خوارزمية structure-from-motion أوضاع الكاميرات أولًا، ثم يعيد NeRF أو الغاوسيات المبقّعة (gaussian splats) بناء المشهد اعتمادًا على هذه الأوضاع. وينتقل الخطأ من الخطوة الأولى إلى الثانية. يدمج LVSPM المرحلتين في نموذج واحد من نوع feed-forward. يتلقى النموذج الصور كما هي ويُخرج الأوضاع والمناظر الجديدة، دون تحسين منفصل لكل مشهد.

شروط التدريب متواضعة. فهو يحتاج إلى إطارات RGB وبيانات أوضاع الكاميرا فقط. ولا يستخدم الهندسة الثلاثية الأبعاد الكثيفة (خرائط العمق وسحب النقاط) التي كثيرًا ما تتطلبها الأساليب المنافسة. والحصول على مثل هذه البيانات بنطاق واسع مكلف، أما مقاطع الفيديو ذات مسارات الكاميرا المعروفة فأكثر توافرًا بوضوح.

طبقات TTT والتسلسلات الطويلة

الفكرة الهندسية الرئيسية هي طبقات test-time training. فالانتباه (attention) الذي تقوم عليه نماذج مثل VGGT تنمو كلفته تربيعيًا مع عدد الإطارات. أما طبقات TTT فتخزّن السياق في أوزان تتحدّث بسرعة، ولذلك يتوسع النموذج، بحسب المؤلفين، إلى مئات المناظر المُدخلة دون قفزة حادة في التكاليف. لا تتضمن الخلاصة (abstract) قياسات تفصيلية للذاكرة والسرعة، ويجدر البحث عنها في الورقة نفسها.

جرى الاختبار عند 16 و32 و64 و128 و256 منظرًا. في تقدير الأوضاع يتقدم LVSPM على VGGT على المدى كله، ويكون الفارق أكبر ما يكون عند العتبات الصارمة. وهذه نقطة مهمة. فكثيرون يستطيعون إصابة الوضع بشكل تقريبي، أما إعادة البناء فتحتاج إلى دقة بالدرجات والسنتيمترات.

بروتوكول تنهار عنده الطرق المرجعية

يركّز المؤلفون بوجه خاص على بروتوكول تقييم توليف المناظر. ويصفونه بأنه عملي: كلما زاد عدد الإطارات اتسعت مساحة المشهد. أما معايير القياس المعتادة ذات المنطقة الصغيرة الثابتة فتُخفي مشكلة تظهر عند تصوير منزل أو شارع حقيقيين. وفي هذا البروتوكول يحقق LVSPM أفضل جودة بين الطرق التي لا تستخدم الأوضاع (pose-free)، ويحافظ عليها مع اتساع المشهد، في حين «تنهار» الطرق المرجعية، على حد وصف المؤلفين.

وتُذكر نتيجة PSNR بشكل منفصل: يتفوق النموذج على الطرق المعتمدة على الأوضاع، أي تلك التي يتوافر لها مدخل إضافي من المعلومات. وهذا ادعاء سيحتاج إلى إعادة تحقق عبر تشغيلات مستقلة، لكن الاتجاه واضح.

ما هو معروف من الخلاصة

• المدخل: مجموعات صور غير معايرة، من 16 إلى 256 منظرًا. • المخرج: أوضاع الكاميرات ومناظر جديدة للمشهد، والنتيجتان من نموذج واحد. • التدريب: RGB وإشراف (supervision) على الأوضاع فقط، دون ground truth ثلاثي الأبعاد كثيف. • الأسلوب المعماري: طبقات test-time training للسياقات الطويلة. • معايير القياس: RealEstate10k وCo3Dv2 وDL3DV. • المقارنة: أفضل من VGGT في الأوضاع، وخصوصًا عند العتبات الصارمة؛ وSOTA بين الطرق pose-free من حيث جودة التوليف. • الشيفرة: مفتوحة في صفحة المشروع.

لمن يفيد ذلك

بالنسبة إلى الفرق العاملة في التصوير الفوتوغرافي وتصوير الفيديو للعقارات، والخرائط، والطائرات المسيّرة، والتوائم الرقمية، تكمن القيمة في زوال مرحلة المعايرة وSfM المنفصلة على مئات الإطارات. والتحقق العملي بسيط: خذ الشيفرة المفتوحة، وشغّلها على لقطاتك الخاصة التي تتضمن اهتزاز الكاميرا وإضاءة سيئة وقوامات متكررة، ثم قارن الأوضاع الناتجة بنتائج COLMAP أو VGGT. وعلى مثل هذه البيانات عادةً يتضح ما إذا كان التعميم يصمد خارج مجموعات البيانات الأكاديمية.

أما الباحثون فيهمّهم الانتقال إلى TTT بوصفه بديلًا للانتباه في مهام الأبعاد الثلاثية. وإذا أكدت مجموعات أخرى المكسب على التسلسلات الطويلة، فسيظهر هذا النهج سريعًا في نماذج إعادة البناء ذات الصلة. وحتى الآن هذه نسخة أولية (preprint) لم تخضع لمراجعة الأقران، ولا تورد الخلاصة الأرقام الأساسية لـPSNR وأخطاء الأوضاع. ويجب البحث عنها في جداول الورقة وفي إعادة إنتاج النتائج.