CausalAlign يعالج «نسيان» نماذج الفيديو: أخطاء الهندسة أقل بنسبة 20%

تعلّمت مولّدات الفيديو رسم مقاطع مقنعة، لكن بقيت لديها علّة مزعجة: الكاميرا «تنجرف». فبعد ثوانٍ قليلة يحيد المسار عن المسار المحدد، وتتشوّه هندسة المشهد، ويبدأ كل ما يُبنى فوق هذا الفيديو بالوقوع في الأخطاء. يقترح فريق من PKU VaLuE Lab (Kai Zhu وYiwu Zhong وزملاؤهما) طريقة CausalAlign. فهي تخفض أخطاء الاتساق الهندسي في Wan2.2 بأكثر من 20%، وترفع نجاح نماذج الفعل الروبوتية 10 نقاط على RoboCasa365.

أين يفقد النموذج الكاميرا

الفكرة الأساسية في العمل أن الباحثين شخّصوا العلّة أولًا، ثم عالجوها. فقد درسوا كيف يمثّل نموذج الفيديو الانتشاري معلومات حركة الكاميرا (ego-motion) ويستخدمها ويحتفظ بها. واعتمدوا أداتين: المجسّات الخطية التي تبيّن ما إذا كان بالإمكان استخراج معاملات الحركة من تنشيطات الطبقة، والتدخلات السببية (causal interventions) التي تختبر هل تؤثر هذه المعرفة في النتيجة.

يسلك المقياسان السلوك نفسه: يرتفعان ثم ينخفضان، سواء على مستوى طبقات الشبكة أو على مستوى خطوات إزالة الضوضاء. فالنموذج يعتمد على ego-motion في المراحل الوسيطة، لكنه لا يحتفظ بها عند النهاية. وسمّى الباحثون هذا التأثير geometric state forgetting، أي النسيان الهندسي للحالة. وهذا، بحسب منطقهم، ما يفسّر الانجراف على الآفاق الطويلة: الشبكة «تفهم» كيف تحركت الكاميرا، لكنها لا تنقل هذا الفهم إلى الإطارات النهائية.

رموز دلتا بدلًا من المشهد الكامل

يقوم العلاج على مواءمة التمثيلات. يأخذ الباحثون نموذجًا تأسيسيًا ثلاثي الأبعاد يعرف الهندسة جيدًا، ويبنون من سماته فضاءً من رموز دلتا (delta-tokens). يشفّر كل رمز منها التغيّر بين إطارين متجاورين، لا الإطار نفسه. وهذا مهم: فالخلفية الثابتة تشكّل معظم الفيديو، وإذا جرت مواءمة السمات كاملةً تغرق إشارة الحركة في المحتوى الزائد للمشهد. أما الدلتا فتجبر الإشراف على التركيز على الديناميكا تحديدًا.

لا تُطبَّق المواءمة على الشبكة كلها، بل في المواضع التي يبدأ فيها ego-motion بالتلاشي. وبهذا تقوّي الطريقة الحلقة الضعيفة بدل إعادة كتابة النموذج بأكمله.

ما النتيجة

كان Wan2.2 هو النموذج الأساسي، وجرى ضبطه الدقيق على مجموعتي البيانات DL3DV وRealEstate10K. أبرز النتائج:

• ارتفعت بوضوح دقة حركة الكاميرا والاتساق الهندسي والسلاسة الزمنية؛
• انخفضت أخطاء الاتساق الهندسي بأكثر من 20% قياسًا بالنموذج الأساسي؛
• بقيت الجودة البصرية على مستواها السابق، أي أن المكسب لم يأتِ على حساب ضبابية الصورة أو ظهور تشوهات؛
• أظهرت نماذج الفعل العالمية (WAMs) التي تستخدم مولّد الفيديو بعد ضبطه الدقيق زيادة في نسبة النجاح بمقدار 10 نقاط في مهام المناولة المتنقلة ضمن اختبار RoboCasa365.

عناصر الدراسة: Wan2.2 مولّدًا أساسيًا للفيديو، ونموذج تأسيسي ثلاثي الأبعاد مصدرًا لـ«الحقيقة الهندسية»، وDL3DV وRealEstate10K بيانات تدريب، وRoboCasa365 اختبارًا على المهام المجسّدة.

لماذا يهم ذلك خارج مجال الفيديو

يتزايد الاهتمام بنماذج الفيديو بوصفها «نماذج عالمية» للروبوتات: يتنبأ الروبوت بالمستقبل على شكل فيديو ثم يختار الفعل. وإذا انجرفت الكاميرا المتنبَّأ بها، يُحسب الفعل بناءً على مستقبل مشوَّه، فيتراكم الخطأ بصورة منهجية. ويربط هذا العمل بين الأمرين مباشرة: تحسّنت الهندسة في المولّد، فارتفعت نسبة المهام الناجحة لدى الوكيل.

والخلاصة العملية للمطورين كما يلي. قبل زيادة البيانات والمعاملات، من المنطقي فحص نموذجكم بالمجسّات وتحديد الطبقة والخطوة اللتين تختفي عندهما الإشارة المطلوبة. فمواءمة دلتا مع خبير خارجي ثلاثي الأبعاد أرخص من إعادة التدريب من الصفر، ويمكن تطبيقها على نماذج فيديو أخرى، لا على Wan2.2 وحده. والشيفرة وصفحة المشروع متاحتان، ولذلك يمكن إعادة إنتاج الطريقة على بياناتكم. والقيود واضحة أيضًا: فالنتائج مستمدة من مجموعات بيانات محددة ومن اختبار واحد، أما انتقال الطريقة إلى مقاطع أطول ومشاهد عشوائية فما زال بحاجة إلى تحقق.