Video-Point Model يتنبأ بالفيديو من عدة كاميرات وبمسارات النقاط ثلاثية الأبعاد

نشر فريق من الباحثين نموذج Video-Point Model (VPM)، وهو نموذج عالمي (world model) يستقبل سجلًا مصوّرًا من عدة كاميرات وتعليمات لغوية، ويُخرج نتيجتين. الأولى: إطارات فيديو مستقبلية من زوايا مشاهدة اختيارية. والثانية: مسارات ثلاثية الأبعاد لنقاط ثابتة في المشهد. ويأتي مع النموذج مجموعتا بيانات: مجموعة المحاكاة VPM-Data، والمعيار VP-WorldBench الذي يغطي البيئات المحاكاة والواقعية. وتتحكم النسخة الموسّعة من VPM في الروبوت، ويؤكد المؤلفون أن الإشراف النقطي (point supervision) يرفع نسبة نجاحها في مهام المناولة، سواء في المحاكاة أو على الأجهزة الفعلية.

لماذا يُربط الفيديو بالنقاط

للتنبؤ متعدد الكاميرات نقطة ضعف. فإذا وُلّدت كل زاوية على حدة، قد «تتفق» الكاميرات على مستقبل مختلف: يكون الجسم قد تحرك في أحد الإطارات وبقي في مكانه في إطار آخر. ولا يكون التنبؤ موثوقًا إلا حين تصف جميع مقاطع الفيديو المشهد ثلاثي الأبعاد المتطور نفسه.

ويعالج المؤلفون ذلك عبر لغة حركة مشتركة. فكل مسار يتتبع نقطة فيزيائية واحدة عبر الزمن وعبر جميع الكاميرات. وحين يتعلم النموذج التنبؤ بهذه المسارات بالتوازي مع توليد الفيديو، تصبح تغيّرات المظهر في كل زاوية مرتبطة بوصف واحد للحركة ثلاثية الأبعاد. فلا يعود الفيديو مجموعة صور مستقلة.

كيف يعمل النموذج

يُبنى VPM على نموذج عالمي مُدرَّب مسبقًا. وأُضيفت فوقه معالجة متعددة الكاميرات مشروطة بمعاملات الكاميرا، تدمج الملاحظات المتكاملة من نقاط مشاهدة مختلفة. ويتنبأ «رأس» مسارات مستقل بكيفية انتقال النقاط عبر الزمن.

أبرز معاملات العمل:

• المدخلات: سجل فيديو متعدد الكاميرات وتعليمات لغوية؛
• المخرجات: فيديو مستقبلي من زوايا اختيارية ومسارات ثلاثية الأبعاد للنقاط الثابتة (persistent points)؛
• الأساس: نموذج عالمي مُدرَّب مسبقًا مع معالجة متعددة الزوايا مشروطة بالكاميرا؛
• بيانات التدريب: VPM-Data، وهي محاكاة تضم مقاطع فيديو متزامنة من عدة كاميرات ومسارات للنقاط؛
• التقييم: VP-WorldBench (المحاكاة والبيئات الواقعية) والمعايير القائمة لتوليد 4D؛
• التحكم في الروبوت: تُضاف الأفعال كرموز (tokens) إلى المولِّد، وتُزال منها الضوضاء (denoising) مع الفيديو المستقبلي معًا.

من التنبؤ إلى التحكم

يتعلق الجزء الثاني من العمل بالروبوتات. يضيف المؤلفون أفعال الروبوت بوصفها وسيطة (modality) إضافية من الرموز في المولِّد. وتستخدم هذه الرموز الـ backbone نفسه المزوّد بالإشراف النقطي، وتُزال منها الضوضاء مع الفيديو المستقبلي. وهكذا تستند السياسة (policy) إلى التمثيل الواعي بالبعد الثالث نفسه الذي يتعلم النموذج عبره التنبؤ بالعالم.

وعلى VP-WorldBench والمعايير القائمة لتوليد 4D، يحسّن الإشراف النقطي جودة الفيديو ودقة الحركة ثلاثية الأبعاد معًا، مقارنةً بنظير دُرّب على الفيديو فقط. وفي تجارب الروبوتات المحاكاة والواقعية، يرفع الإشراف نفسه نسبة نجاح المناولة لدى النموذج المزوّد بالأفعال. ولا ترد في الوصف المتاح للعمل قيم رقمية للمكسب، لذا ينبغي التحقق من حجم الأثر في جداول الورقة نفسها.

ما الذي ينبغي أن يتحقق منه من يبنون الروبوتات والنماذج العالمية

ابدأوا بمصدر البيانات. فـ VPM-Data قائمة بالكامل على المحاكاة: مسارات النقاط فيها معروفة بدقة، أما في التصوير الواقعي فسيتعين وسمها يدويًا أو تقديرها بأداة تتبّع. وإذا كانت مهمتكم قائمة على بيانات واقعية، فمن الحاسم معرفة إلى أي حد تنتقل النتائج من المحاكاة إلى الأجزاء الواقعية من VP-WorldBench.

ثم قيّموا الكلفة. فالمعالجة متعددة الكاميرات و«رأس» المسارات يضيفان حسابات، كما يتطلب الإشراف النقطي مطابقة النقاط بين الزوايا. وللفرق التي تعتمد عدة كاميرات على خلية العمل، يُعد هذا إعدادًا طبيعيًا. أما الروبوتات ذات الكاميرا الواحدة على المعصم، فسيلزم التحقق من الفائدة فيها على حدة.

وأخيرًا، قارنوا بخط الأساس. يُظهر المؤلفون فائدة الإشراف النقطي قياسًا بنسخة الفيديو فقط من البنية نفسها. وهذه دراسة استئصال (ablation) نظيفة، لكنها لا تغني عن المقارنة بسياسات دُرّبت بطرق أخرى. وأنفع ما يمكن فعله عمليًا هو تكرار التجربة على مهمة المناولة الخاصة بكم: شغّلوا «رأس» المسارات وأوقفوه، وقارنوا نسبة المحاولات الناجحة.