DynStream من بكين يبني مشهدًا ثلاثي الأبعاد ديناميكيًا من الفيديو دون معرفة أوضاع الكاميرا

نشر فريق من جامعة بكين وVGI Labs وجامعة كاليفورنيا نظام DynStream. ويصفه المؤلفون بأنه أول إطار عمل واسع النطاق يعيد بناء المشاهد الديناميكية بغاوسيات ثلاثية الأبعاد وفق مبدأ feed-forward، انطلاقًا من فيديو متدفق ودون معرفة مسبقة بأوضاع الكاميرا. والسيناريو بسيط: شخص يسير في الشارع حاملًا كاميرا، وحوله أشخاص وسيارات يتحركون، ويتوسّع النموذج ثلاثي الأبعاد للمشهد أثناء التصوير نفسه. ونشير منذ البداية إلى أن الوصف المتاح لا يتضمن جداول بالمقاييس، ولذلك ما زال من المبكر تقييم مستوى الجودة المعلن.

ثلاث مشكلات في آن واحد

دُرست كل مهمة من المهام الثلاث على حدة من قبل. أما اجتماعها معًا فيصنع بنية شديدة الصعوبة.

المشكلة الأولى هي غياب المستقبل. ففي إعادة البناء دون اتصال (offline) تطّلع الخوارزمية على المقطع كاملًا، ويمكنها تحسين الهندسة تدريجيًا. أما في الوضع المتدفق فلا تعرف إلا الماضي والإطار الحالي، ويجب أن تقدّم قرارها فورًا.

الثانية هي غموض الحركة. فإزاحة البكسلات على الشاشة تنتج عن مجموع حركة الكاميرا وحركة الجسم نفسه. ودون أوضاع الكاميرا، على النموذج أن يفكّك هذا المجموع إلى مكوّناته بنفسه. وأي خطأ في اتجاه يحوّل سيارة مركونة إلى سيارة متحركة، وأي خطأ في الاتجاه المعاكس يطمس مشاة على الجدار.

والثالثة هي الدمج عبر الزمن. فالشارع الذي صُوّر قبل دقيقة والتقاطع الذي تراه الكاميرا الآن يجب أن يندرجا في نظام إحداثيات واحد. ويتراكم الانجراف (drift): فخطأ صغير في البداية يتحول إلى مبانٍ منزاحة بعد بضع مئات من الأمتار. كما تترك الأجسام الديناميكية «أشباحًا» إذا لم تُفصل عن الخلفية الثابتة.

لماذا feed-forward والغاوسيات

يتطلب 3D Gaussian Splatting التقليدي تحسينًا (optimization) لكل مشهد على حدة: عشرات الدقائق من الحوسبة، وأوضاع كاميرا دقيقة تُستخرج عادةً بخطوة مستقلة هي البنية من الحركة (Structure from Motion). ولا يصلح ذلك للسيناريو المتدفق. أما نهج feed-forward فيستبدل التحسين بمرور واحد عبر شبكة عصبية تتنبأ مباشرةً بمعاملات الغاوسيات انطلاقًا من الإطارات المدخلة. والاستغناء عن الأوضاع يزيل اعتمادًا خارجيًا آخر، ومعه مصدرًا للأعطال في المشاهد الديناميكية التي كثيرًا ما تفشل فيها طرق تقدير الأوضاع الكلاسيكية.

ويتضح من البيانات المفتوحة أن DynStream يجمع بين هذه الخصائص الثلاث تحديدًا: البث المتدفق، والديناميكية، وغياب الأوضاع. أما أعمال feed-forward السابقة فكانت تغطي في الغالب خاصية أو اثنتين منها: إما المشاهد الثابتة، أو المقاطع القصيرة، أو الأوضاع المعروفة.

ما المعروف عن النظام

• المؤلفون: جامعة بكين، VGI Labs، جامعة كاليفورنيا.
• المدخلات: بث فيديو متواصل، ولا حاجة إلى أوضاع الكاميرا.
• المخرجات: مشهد ديناميكي على شكل غاوسيات ثلاثية الأبعاد يُحدَّث مع وصول الإطارات.
• نمط العمل: متدفق، دون الوصول إلى الإطارات اللاحقة.
• الوضع المعلن: أول إطار عمل واسع النطاق من هذا الصنف.
• لا يتضمن الوصف المتاح مقاييس الجودة ولا السرعة ولا حجم النموذج.

أين يفيد ذلك وماذا ينبغي التحقق منه

أبرز المستفيدين من هذه التقنية هما الروبوتات والقيادة الذاتية. فالروبوت والمركبة ذاتية القيادة بحاجة إلى خريطة ثلاثية الأبعاد حيّة تفصل البنية التحتية الثابتة عن الأجسام المتحركة. والمجال الثاني هو الواقع المعزز والواقع الافتراضي (AR/VR) والتقاط الفضاءات بالهاتف الذكي: يصوّر المستخدم غرفة أو شارعًا فيحصل فورًا على نموذج واقعي بصريًا دون معالجة طويلة.

عند قراءة الورقة البحثية والشيفرة، ينبغي النظر في أمور محددة. أولها طول التسلسلات التي أُثبتت عليها الثباتية: عشرات الإطارات أم آلاف. وثانيها معدل التحديث على GPU حقيقي، لأن كلمة «متدفق» دون زمن تأخير بالميلي ثانية لا تعني الكثير. وثالثها السلوك في المشاهد التي تكاد الكاميرا فيها تكون ثابتة بينما يتحرك كل ما حولها. ففي هذه الحالة تحديدًا تخلط الطرق التي لا تستخدم الأوضاع غالبًا بين حركة الكاميرا الذاتية وحركة الأجسام. وإذا نشر المؤلفون الأوزان ومجموعة البيانات، فسرعان ما سيتحقق المجتمع البحثي من مدى صمود ادعاء «الأول» على بيانات الآخرين.