FilmFlow: أربعة وكلاء يبنون مسارات الكاميرا في 3D انطلاقًا من النص والفيديو

اقترح فريق مؤلفي FilmFlow إطار عمل قائمًا على الوكلاء، يحوّل المهمة الإخراجية إلى مسار كاميرا صريح لبيئة 3D ديناميكية. ويمكن أن يكون المُدخل أي شيء: عبارة بلغة طبيعية أو فيديو مرجعيًا. أما المُخرج فهو خطة حركة كاميرا قابلة للتنفيذ ويمكن رندرتها. يعمل داخل النظام أربعة وكلاء، واختُبر على معيار جديد هو CinemaBench: 150 مشهدًا في Blender و750 مهمة نصية و60 فيديو مرجعيًا. وفي المقارنة مع مجموعة من الطرق الأساسية، أحرز FilmFlow أفضل نتيجة ونال أعلى تقييم في تفضيلات المستخدمين.

أربعة أدوار بدلًا من نموذج واحد

تقوم فكرة العمل الرئيسية على عدم محاولة حل المهمة بطلب واحد إلى نموذج واحد. فقد قُسّم العمل السينمائي إلى أدوار، كما في موقع التصوير.

يتحمل Director مسؤولية النتيجة: فهو يجمع خطة الكاميرا القابلة للتنفيذ، ويساعده ثلاثة متخصصين. يستخرج Interpreter التصور الإخراجي من التعليمات أو المرجع ويربطه بالمشهد المحدد: ما العنصر الأهم في الكادر، وإلى أين يجب أن يتجه النظر، وأي إيقاع مطلوب. ويختار Scout نقطة المشاهدة الابتدائية. أما الناقد، أي Critic، فيقيّم النتيجة المرندَرة ويعيد ملاحظات بصرية، ثم يعدّل Director الخطة.

والنقطة الأخيرة أهم من غيرها. فقد يبدو مسار الكاميرا معقولًا في صورة أرقام، ومع ذلك يفسد الكادر: يخرج العنصر عن الحافة، أو تخترق الكاميرا الهندسة الثلاثية الأبعاد، أو لا تقع الحركة في اللحظة المطلوبة. وتلتقط حلقة «الخطة — الرندرة — النقد — التعديل» هذه الأخطاء على الصورة لا على الورق.

الكاميرا كتركيب من عمليات ذرّية

لا يُخرج Director المسار دفعة واحدة، بل يجمع الحركات المعقدة من عمليات ذرّية متوازية تتحكم في آنٍ واحد بثلاثة أمور: الانتقال والدوران والتأطير. فمثلًا، تُفكَّك حركة الدوران حول شخصية مع الاقتراب التدريجي منها وإزاحة العنصر داخل الكادر إلى عدة عمليات بسيطة تجري بالتزامن.

يمنح هذا النهج بنية صريحة مقروءة. يمكن استعراض الخطة وتعديلها يدويًا أو إعادة استخدام جزء منها. وفي المهام التي تتطلب منطقًا مكانيًا (أين تقع العناصر، وكيف تتحرك عبر الزمن، وكيف يُحافظ على التكوين)، يبدو هذا أنسب بوضوح من التوليد الضمني للمسار بواسطة شبكة عصبية.

CinemaBench: 750 مهمة و60 مرجعًا

يشكّل المعيار جزءًا مستقلًا من العمل. فقد جمع المؤلفون 150 مشهدًا في Blender من مصادر خاصة ومرخّصة. ويقابل كل مشهد خمس تعليمات للكاميرا، فيبلغ المجموع 750 مهمة نصية. وأُضيف إلى جزء من المشاهد 60 فيديو مرجعيًا، يجب بواسطتها إعادة إنتاج طابع حركة الكاميرا.

يختبر CinemaBench نمطين: التوليد انطلاقًا من النص، والتوليد انطلاقًا من مرجع فيديو. وكان لا بد سابقًا لإجراء مثل هذا التقييم من تجميع المجموعات ذاتيًا، أو الاعتماد على مقاييس عامة لجودة الفيديو لا تكاد تميّز عمل الكاميرا.

أبرز معطيات العمل:

• المُدخلات: تعليمة نصية أو فيديو مرجعي
• المُخرج: مسار كاميرا صريح في مشهد 3D ديناميكي
• الوكلاء: Director وInterpreter وScout وCritic
• المعاملات الخاضعة للتحكم: الانتقال والدوران والتأطير
• المعيار: 150 مشهدًا في Blender، و750 مهمة نصية، و60 فيديو مرجعيًا
• النتيجة: أفضل المؤشرات بين الطرق الأساسية التي جرى تقييمها وأعلى تقييم من المستخدمين

أين يفيد ذلك عمليًا

أقرب المستفيدين من هذا النهج هم من يحتاجون إلى كاميرا في مشهد ثلاثي الأبعاد، لكن لا يتوفر لديهم مصوّر ولا وقت لتوزيع الإطارات المفتاحية يدويًا. ويشمل ذلك المعاينة المسبقة (previsualization) في السينما والإعلانات، واستوديوهات الرسوم المتحركة، والمشاهد السينمائية في الألعاب، والتصورات المعمارية. فإذا أمكن تحويل عبارة نصية مثل «اقتراب بطيء من البطل مع انحراف خفيف إلى اليمين» إلى مسار يجتاز النقد على الرندرة، تسارعت الأعمال التمهيدية.

وللنمط نفسه فائدة لمطوّري أنظمة الوكلاء. فالتقسيم إلى مفسّر ومنفّذ ومستكشف وناقد، مع تغذية راجعة على النتيجة البصرية، يمكن نقله إلى مهام أخرى لا يكفي فيها توليد النتيجة بل يجب أيضًا رؤيتها: ضبط الإضاءة، والمونتاج، وتوليد المشاهد.

وسيفيد CinemaBench الباحثين. إذ تحصل الأوساط البحثية على مجموعة مشتركة لمقارنة الطرق بالنص وبالمراجع، وبصيغة Blender، أي مع رندرة قابلة لإعادة الإنتاج. والمهم الآن هو مدى صمود هذا النهج أمام مشاهد خارج المعيار، ومدى كلفة الحلقة التكرارية المعتمدة على الرندرة في خطوط الإنتاج الفعلية. وهناك سيتضح ما إذا كان FilmFlow سيتحول من نموذج بحثي أولي إلى أداة عمل.