MIST يكشف: نماذج العالم الفيديوية لا تنسى، بل لا تنفّذ الأمر

عادةً ما يُفسَّر انخفاض درجة نموذج العالم الفيديوي في اختبار الذاكرة على أنه نسيان. ويرى مؤلفو ورقة «Execution Before Memory» أن هذا استنتاج خاطئ. فقد اقترحوا تقييم MIST الذي يفصل بين تهيئة المشهد، وتنفيذ التغيير المطلوب، والنتيجة النهائية في الإطار الأخير. وتشخيصهم مختلف: النموذج يبني المشهد، لكنه لا ينفّذ الفعل المطلوب. أما طريقة M3-Agent (Make the Missing Move) فتوضّح التعليمة وترفع MIST reveal score أكثر من ثلاثة أضعاف. وعلى اختبار WRBench يرتفع مقياس T بنسبة 26,1%، وفي MBench-T يرتفع مقياس U بنسبة 52,7%.

درجة واحدة لثلاثة أسئلة

تُصمَّم اختبارات الذاكرة لنماذج الفيديو عادةً على النحو التالي: يُعرض على النموذج مشهد، ويُطلب منه تغيير شيء ما، ثم يُقيَّم الإطار النهائي برقم واحد. ويخلط هذا الرقم بين ثلاثة أمور مختلفة: هل تمت تهيئة المشهد، وهل نُفّذ التغيير، وهل تظهر النتيجة في المشهد الأخير.

المشكلة منطقية. فإذا لم يحدث التغيير، فلا مصدر لظهور انتقال الحالة المخفي أصلًا. وعندها لا يوجد شيء يمكن فحصه: الذاكرة لم تخفق، بل لم يُتح لها أن تُستخدم. وتأتي الدرجة منخفضة، فيعزوها القارئ إلى النسيان، مع أن السبب يقع في مرحلة أسبق من السلسلة.

كيف يعمل MIST

يفصل MIST بين التغيير والذاكرة التي يُفترض أن يتركها. يبني النموذج المشهد أولًا ويبقى التغيير مخفيًا، ثم يُطلب منه إظهاره. وتخضع معلومات التغيير المخفي لرقابة صارمة كي لا تتسرب قبل هذه اللحظة، وإلا تعذّر تفسير النتيجة تفسيرًا قاطعًا.

ويبيّن هذا الفصل أين تحديدًا تنهار العملية. فبحسب نتائج المؤلفين، ينجح النموذج في تهيئة المشهد، لكنه لا ينفّذ التغيير الذي وردت به التعليمة. ويجد المؤلفون الفجوة نفسها في تقييمات الذاكرة العامة، أي أن المشكلة ليست محصورة في اختبار متخصص واحد.

M3-Agent: إصلاح التعليمة لا النموذج

وعلى هذا الأساس يقترح المؤلفون M3-Agent. يراجع هذا الأسلوب تفاصيل التعليمة المُدخلة بصورة تكرارية إلى أن ينفّذ النموذج المطلوب. ويبقى النموذج الأساسي مجمَّدًا طوال ذلك. وتعالج الطريقة المشكلة من جانب التنفيذ، إذ تُظهر ما يستطيع النموذج فعله عندما تُصاغ الإجراءات المطلوبة بوضوح.

النتائج المعلنة:

• MIST reveal score: أعلى من خط الأساس بأكثر من ثلاثة أضعاف؛
• WRBench، مقياس T: +26,1%؛
• MBench-T، مقياس U: +52,7%؛
• أوزان النموذج لا تتغير، والعمل يجري على مستوى التعليمة.

ولا يتضمن الملخص قيمًا مطلقة ولا قائمة بالنماذج التي جرى اختبارها. ويجب التحقق من نسب الزيادة النسبية في النص الكامل للورقة. كما يصف المؤلفون النتيجة بأنها خط أساس أكثر صرامة للأبحاث المقبلة: فأي طريقة تدّعي تحسين الذاكرة عليها الآن أن تتفوق على مجرد توضيح التعليمة.

كيف يمكن استخدام ذلك عمليًا

ينبغي للفرق التي تقيّم نماذج العالم الفيديوية أن تراجع بروتوكولها. فقبل الحكم بضعف الذاكرة، من المفيد التحقق من أن التغيير نفسه قد نُفّذ: أي هل هو موجود في الإطار أصلًا. وإذا لم يكن موجودًا، فالمطلوب تحسين التعليمة أو التنفيذ، لا بنية الذاكرة.

أما من يبنون منتجات على توليد الفيديو، فالخلاصة بالنسبة إليهم أكثر واقعية. فالتوضيح التكراري للتعليمة، كما في M3-Agent، يمكن دمجه بتكلفة منخفضة فوق نموذج جاهز ودون إعادة تدريب. وسيتعيّن على الباحثين مقارنة طرق الذاكرة الجديدة بخط الأساس الأشد صرامة هذا. وإلا فإن جزءًا من التحسينات المعلنة سيكون في الواقع تحسينًا في التنفيذ، سُجِّل على أنه تحسين في الذاكرة.