OmniXRef يجمع النص والصور والفيديو في محرر واحد لمقاطع الفيديو

نشر فريق OmniXRef نموذجًا موحّدًا لتحرير الفيديو يقبل في الطلب الواحد ثلاثة أنواع من إشارات التحكم: النص والصور ومقاطع الفيديو الأخرى. وعدد المراجع غير ثابت. ويُقاس الأداء على معيار الاختبار الجديد OmniXRef-Bench وفق خمس فئات لنقل السمات: الكاميرا والحركة والمحتوى والأسلوب والمؤثرات البصرية. ويذكر المؤلفون أن النموذج يتفوق على الحلول الأساسية المتخصصة وعلى الأنظمة التجارية معًا. غير أن الخلاصة لا تتضمن مقاييس محددة، لذا ينبغي البحث عن الأرقام في الورقة البحثية نفسها.

تنطلق الفكرة من مشكلة معروفة في محررات الفيديو القائمة على الانتشار. فالأمر النصي مثل «أزل الأشخاص» يعمل جيدًا، والصورة المرجعية تساعد في ضبط مظهر الكائن. لكن عبارة «صوّر بالطريقة نفسها كما في ذلك المقطع» يصعب نقلها بالكلمات، فمسار الكاميرا وإيقاع الحركة وطبيعة المؤثر أسهل أن تُعرض بمقطع فيديو آخر. وهذه القناة تحديدًا هي الأضعف عادةً بين قنوات التحكم في الأدوات الحالية.

كيف يعمل النموذج

يقوم النموذج على واجهة reference bank. وهي حاوية موحّدة تُجمع فيها كل مراجع الطلب بغض النظر عن نوعها وعددها. ولكي لا يختلّ النموذج حين يزيد عدد المراجع على ما في أمثلة التدريب، اقترح المؤلفون الترميز الموضعي R^2-RoPE. ووفق قولهم، فإنه يدعم التعميم إلى عدد أكبر من المراجع.

أما OmniXRef-Model نفسه فهو محوّل انتشاري أحادي المسار. يُمرَّر إليه الفيديو الأصلي والسياق متعدد الوسائط الذي يعدّه MLLM في تسلسل واحد متناوب. ولا توجد فروع منفصلة لكل نوع من الشروط. وهذا يسهّل إضافة تركيبات جديدة من المدخلات، مع أن كلفة الحوسبة تعتمد على طول التسلسل، ولم يكشف المؤلفون هذه الكلفة في الخلاصة.

البيانات ومعيار الاختبار

تكمن العقبة الرئيسية هنا في البيانات. فالثلاثيات الطبيعية «فيديو أصلي، مرجع مرئي، نتيجة» شبه معدومة. لذلك جمع الفريق OmniXRef-Data عبر خطوط إنتاج اصطناعية، مخصصة لمهام التحرير المختلفة ولتركيباتها مع المراجع. وجرى التدريب وفق نهج curriculum learning: تبدأ المهام بسيطة وبدقة منخفضة، ثم تزداد الصعوبة والدقة.

ويسدّ OmniXRef-Bench فجوة في التقييم. فقبل ذلك، لم يكن الفيديو كقناة تحكم يُقاس بصورة منهجية تقريبًا. والآن توجد خمسة محاور للمقارنة:

• Camera: نقل حركة الكاميرا؛
• Motion: نقل حركة الكائنات؛
• Content: استبدال محتوى الإطار أو الإضافة إليه؛
• Style: نقل الأسلوب البصري؛
• VFX: نقل المؤثرات البصرية.

مواصفات موجزة بحسب بيانات الخلاصة:

• المدخلات: نص وصور وفيديو بأعداد متغيرة؛
• الواجهة: reference bank؛
• الترميز الموضعي: R^2-RoPE؛
• البنية: diffusion transformer أحادي المسار مع سياق من MLLM؛
• البيانات: OmniXRef-Data الاصطناعية؛
• التدريب: curriculum وفق الصعوبة والدقة؛
• التقييم: OmniXRef-Bench، 5 فئات؛
• النتيجة المعلنة: أفضل من النماذج task-specific والتجارية، دون أرقام في الخلاصة.

ما الذي لا يزال مجهولًا

لا يتضمن الوصف عدد المعاملات، ولا الحد الأقصى لطول المقاطع ودقتها، ولا سرعة التوليد، ولا الترخيص. كما لم تُذكر أسماء النماذج التجارية التي جرت المقارنة معها. وهناك أيضًا مخاطرة منهجية: فمعيار الاختبار أنشأه المؤلفون أنفسهم، وبيانات التدريب اصطناعية. وغالبًا ما تحقق هذه التركيبة نتائج أفضل على تصنيفها الخاص. وتشغيل مستقل على مقاطع من خارج هذا الإطار سيكشف المستوى الحقيقي أفضل من أي جدول.

كيف يمكن الاستفادة منه

ينبغي لفريق يصنع الإعلانات أو المقاطع أو محتوى وسائل التواصل الاجتماعي أن ينتظر نشر الشيفرة والأوزان، إن نشرها المؤلفون، ثم يختبر النموذج على مواده الخاصة. ويستحسن البدء باختبار نقل الكاميرا والحركة، فهناك يمنح المرجع المرئي أفضلية على النص. وللمقارنة مع الخدمات التجارية، يسهل اعتماد المحاور الخمسة من OmniXRef-Bench وتقييم كل محور على حدة، بدل الاكتفاء بالانطباع العام. أما مطورو المحررات فمن المفيد لهم التمعّن في فكرة reference bank: فالواجهة الموحّدة لمراجع مختلفة أسهل في دمجها في المنتج من مجموعة أوضاع منفصلة لكل نوع من الشروط.