VMem-Bench يكشف: الذاكرة في مولّدات الفيديو تخفض الدقة إلى 0,845

تلجأ مولّدات الفيديو الطويل بشكل متزايد إلى استرجاع الإطارات السابقة من السجل التاريخي، كي لا يتغيّر وجه البطل من مشهد إلى آخر. يبدو ذلك منطقيًا: كلما اتسع الوصول إلى الماضي، ازداد استقرار المستقبل. وقد اختبر فريق Yuzhuo Chen وHuafeng Shi وXinyu Wang وYulong Xu وYucheng Wang وHaoqin Hong وGuoxin Zhang وZehua Ma وWeiming Zhang هذا الافتراض على بنشمارك VMem-Bench. فالذاكرة ترفع فعلًا recall الكيانات من 0,559 إلى 0,628–0,693. لكن لذلك ثمنًا: ينخفض precision من 0,977 إلى 0,915–0,938، وتتراجع القدرة على عدم رسم الشخصيات والكائنات المحظورة من 0,968 إلى 0,845–0,898.

الصورة وفية للماضي وخاطئة بالنسبة إلى الحاضر

فكرة الدراسة الرئيسية بسيطة: قد تطابق الصورة ما كان سابقًا بدقة، ومع ذلك تكون خاطئة بالنسبة إلى اللحظة الراهنة من القصة. فالبطل بدّل ملابسه، أو أصيب بندبة، أو فقد غرضًا، بينما يقدّم نظام الذاكرة للمولّد مرجعًا قديمًا بكل حماسة. والنتيجة أن النموذج يعيد رسم هيئة قديمة كانت القصة قد ألغتها.

وقد أظهر المؤلفون أن هذا ما يحدث فعلًا. فالبحث في السجل التاريخي يعزّز المظاهر القديمة بعد أن غيّرتها القصة. وفي الوقت نفسه يزداد التشابه مع الظهورات السابقة، فيبدو كل شيء ممتازًا وفق مقاييس «الاتساق». لكن المشكلة أن الاتساق مع الماضي والصحة بالنسبة إلى السياق الحالي للقصة مقياسان لأمرين مختلفين.

مساران لفصل اختيار المراجع عن عمل المولّد

يُبنى VMem-Bench كدراسة تشخيصية من جزأين.

• Track-A يقيّم المراجع التي تُختار من السجل التاريخي قبل أي توليد، ودون تأثير من المولّد نفسه. المادة: 92 فيلمًا حقيقيًا، و16 548 مقطعًا.
• Track-B يقارن أربع سياسات بحث مع حالتَي ضبط على المولّد نفسه. المادة: 30 قصة مبنية على علاقات سببية، و2 824 مقطعًا. حالتا الضبط: متغيّر دون ذاكرة، ومتغيّر «آخر ما شوهد» مع تلميح من التوسيم المرجعي.

يزيل هذا الفصل أبرز لبس في هذا المجال. فحين يخرج الفيديو جيدًا، لا يتضح هل ساعد اختيار المرجع الجيد أم أن المولّد أنجز المهمة بنفسه. ويجيب Track-A عن السؤال الأول بمعزل عن الثاني.

فخّ long-gap recall

ثمة أيضًا تأثير معاكس. فقد يرتفع recall على الفواصل الطويلة بين ظهورات البطل حتى دون أي ذاكرة، إذا كان الـprompt نفسه يصف المظهر. فالنموذج يرسم البطل المطلوب لأن ذلك كُتب له، لا لأنه «تذكّره». وللكشف عن ذلك، طبّق المؤلفون تحليلًا يحذف أوصاف المظهر من الـprompts. وبدون هذا الفحص، قد يُنسب المكسب خطأً إلى آلية الذاكرة.

الأرقام الرئيسية

• recall الكيانات: 0,559 دون ذاكرة ← 0,628–0,693 مع البحث في السجل التاريخي.
• Precision: 0,977 دون ذاكرة ← 0,915–0,938 مع الذاكرة.
• تجنّب الكيانات المحظورة: 0,968 دون ذاكرة ← 0,845–0,898 مع الذاكرة.
• حجم Track-A: 92 فيلمًا، 16 548 مقطعًا.
• حجم Track-B: 30 قصة، 2 824 مقطعًا، 4 سياسات بحث، حالتا ضبط.
• أثر جانبي: تثبيت الهيئات القديمة بعد تغيّرات حدثت في القصة.

ما الذي ينبغي تغييره في خطوط المعالجة

بالنسبة إلى الفرق التي تبني فيديوهات طويلة أو مسلسلات أو سلاسل إعلانية أو مقاطع ألعاب، فالخلاصة عملية. فملاءمة المرجع الذي جرى العثور عليه واتساق الفيديو النهائي لا يثبتان بحد ذاتهما فائدة الذاكرة. المطلوب مقاييس مستقلة لـprecision وللكيانات «المحظورة»، وإلا يبقى التدهور غير مرئي.

ينبغي ربط الذاكرة بحالة القصة، لا بالتقارب البصري وحده: يجب أن يعرف البحث أن البطل قد بدّل ملابسه وأن الغرض قد اختفى. ويجب أن يجري الاختبار مع ضبط «دون ذاكرة» ومع متغيّر تُحذف فيه أوصاف المظهر من الـprompt، وإلا فقد يُظن أن عمل الـprompt هو عمل الذاكرة. الشيفرة وصفحة المشروع متاحتان: مستودع Suchenl/VMem-Bench على GitHub، والورقة البحثية على arXiv برقم 2610.35001.