RealMe ينتج فيديو حجميًا بدقة 2K من أقل عدد من الكاميرات عبر الانتشار

قدّم فريق من الباحثين RealMe، وهو إطار عمل يبني فيديو حجميًا (volumetric) من لقطات متفرقة منخفضة الدقة، ويُخرج نتيجة بدقة 2K متسقة بين زوايا التصوير وعبر الزمن. يقوم الإطار على نموذج انتشار للفيديو يحسّن المقاطع الأصلية، وبناءً عليها يجري تحسين التمثيل رباعي الأبعاد (4D) للمشهد. وعلى معيار DNA-Rendering العام وعلى مجموعة البيانات الخاصة RealVV، يتفوق الأسلوب على نظائره الحديثة في الجودة البصرية والاتساق رباعي الأبعاد.

لماذا أصبحت الاستوديوهات الكثيفة عنق زجاجة

تعتمد إعادة بناء الفيديو الحجمي التقليدية على التصوير الكثيف بعدة كاميرات. فعشرات الكاميرات المتزامنة حول الهدف تعطي نتيجة ممتازة، لكنها مكلفة وتتطلب مكانًا مجهزًا ومعايرة. ويمكن تحمّل ذلك في السينما والإنتاجات الكبرى، أما بالنسبة لاستوديو إخباري أو فريق صغير أو التصوير «الميداني» فلا.

حاولت أعمال حديثة تخفيف هذا الشرط باستخدام النماذج التوليدية: نأخذ عدة زوايا ونطلب من الشبكة استكمال الباقي. والمشكلات معروفة. فدقة هذه الأنظمة محدودة، والأهم أن الاتساق رباعي الأبعاد يتأثر. وإذا لم تكن كل زاوية وكل إطار مولَّدين بترابط كافٍ، «تنزلق» الهندسة، وتومض التفاصيل، وتتفكك الصورة عند الدوران حول المشهد بكاميرا افتراضية. ويستهدف RealMe هاتين النقطتين تحديدًا: الدقة والاتساق.

انتشار يعرف أين تقف الكاميرات

يعمل النظام على النحو التالي. من الفيديوهات الملتقطة يبني النظام بيانات مساعدة ويرمّزها في متغيرات كامنة (latents) مع تضمينات موضعية تراعي التخطيط (layout-aware)، أي مع معلومات عن توزيع الكاميرات. فالنموذج لا يعرف ما يراه فقط، بل يعرف أيضًا من أين صُوّر.

بعد ذلك يأتي دور نموذج الانتشار للفيديو. فقد كيّف المؤلفون فيه الانتباه المكاني الزمني المُجزَّأ ليناسب توزيع الكاميرات المتعددة الزوايا. ويزيل النموذج الضوضاء عن المتغيرات الكامنة عبر نقاط المشاهدة وعبر الزمن في آن واحد، ثم يفك ترميزها إلى فيديوهات محسّنة. وهذه الفيديوهات تحديدًا هي التي تُحسّن بها التمثيل النهائي رباعي الأبعاد. وبحسب المؤلفين، يساعد هذا التكييف على التقاط الديناميكيات الزمنية والروابط بين الزوايا، وبالتالي يعطي توليدًا أكثر اتساقًا.

وثمة تفصيل منفصل هو الخسارة الترددية في الفضاء الكامن. فالفيديوهات المولَّدة تختلف عادةً قليلًا عن اللقطات الحقيقية في الملمس والتفاصيل الدقيقة، لأن الانتشار يميل إلى التنعيم. ولتقليص هذه الفجوة أضاف المؤلفون ضبطًا تردديًا مباشرة في الفضاء الكامن. وهذا أقل كلفة من حساب الخسائر على مستوى البكسل، ومع ذلك يجبر النموذج على الحفاظ على المكونات عالية التردد المسؤولة عن الحدّة.

أبرز المعطيات:

• المدخلات: لقطات فيديو متفرقة منخفضة الدقة؛
• المخرجات: فيديوهات متسقة رباعيًا (4D) بدقة 2K لإعادة بناء الفيديو الحجمي؛
• النواة: نموذج انتشار للفيديو مع انتباه مكاني زمني مُجزَّأ؛
• الترميز: متغيرات كامنة إضافةً إلى تضمينات موضعية تراعي التخطيط (layout-aware)؛
• التدريب: خسارة ترددية في الفضاء الكامن لتقريب البيانات المولَّدة من الحقيقية؛
• التقييم: DNA-Rendering ومجموعة البيانات الخاصة RealVV.

من سيستفيد أولًا

أوضح السيناريوهات هي محتوى الواقع الافتراضي (VR) والواقع المعزز (AR)، والحضور عن بُعد، والبث الرياضي بكاميرا حرة، والتوائم الرقمية للأشخاص في التجارة والترفيه. وفي كل مجال تعيقه اليوم تكلفة استوديو بمصفوفة كاميرات كثيفة، يخفض نهج «كاميرات أقل وتوليد أكثر» عتبة الدخول.

وهناك قيد يجدر تذكّره. فحين يستكمل نموذج الانتشار التفاصيل، يكون جزء من الصورة غير مصوَّر بل مُركَّبًا. وهذا مقبول في الترفيه والاتصالات. أما في المهام التي تتطلب دقة وثائقية، كالطب أو إعادة البناء القضائية، فسيلزم تقييم منفصل لما أضافه النموذج بالتحديد.

والمسألة الثانية هي قابلية النقل. فقد حُصل على النتائج على DNA-Rendering وعلى RealVV الخاصة بالمؤلفين، وسيكون الاختبار الرئيسي هو العمل على تجهيزات كاميرات أخرى، وبإضاءة مختلفة ومع أهداف مختلفة. وإذا صمد الأسلوب أمام هذا الاختبار، فقد لا يبقى الفيديو الحجمي امتيازًا للاستوديوهات ذات المعدات الغالية.