Stateful Harness يرفع دقة نماذج العالم من 32% إلى 92% في اختبارات الحالة الخفية

اقترح مؤلفو ورقة بحثية نُشرت في Hugging Face Daily Papers إطار Stateful Harness. وهو إطار لنماذج العالم يفصل تطوّر العالم عن عرض الفيديو. في اختبار WorldState-Bench الجديد، المؤلف من 50 زوجًا مضادًا للواقع، يقدّم أفضل واجهة من بين 11 واجهة خلفية للفيديو، عند إعطائه تلميحًا بالقواعد فقط، النهايات المطلوبة للحالتين معًا في 32% من الأزواج. أما harness الكامل مع نموذج MiniMax-H3 المجمَّد نفسه فيصل إلى 92%. ولم يُعاد تدريب نموذج الفيديو نفسه في هذه العملية.

أين تنكسر نماذج العالم

تستطيع نماذج العالم الحديثة توليد فيديو انطلاقًا من صورة واحدة مع مراعاة إجراء المستخدم. ويركّز كثير منها على حركة الكاميرا: يمكن التجوّل في المشهد المولَّد والنظر حولك. لكن التنقّل لا يخبرنا شيئًا عمّا إذا كان الإجراء يخضع لقواعد ثابتة. وحين تعتمد النتيجة على حالة غير موجودة في الإطار الحالي، يضطر النموذج إلى التخمين. فمثلًا، يتوقف انفتاح الباب على كونه مقفلًا أم لا، ولا يظهر ذلك في الإطار. ويختار نموذج الفيديو النتيجة الأكثر معقولية، لا تلك التي تفرضها قواعد العالم.

يسمّي المؤلفون ذلك مشكلة الحالة الخفية. وتزداد وضوحًا كلما طالت الجلسة: فكل دور جديد يعتمد على ما جرى سابقًا، بينما لا يملك نموذج توليد الفيديو الخالص مكانًا موثوقًا يحفظ فيه ذلك.

كيف يعمل Stateful Harness

تقوم الفكرة على فصل الأدوار. يدير harness العالم وقواعده، بينما يكتفي نموذج الفيديو بعرض النتيجة. ويجري الدور على النحو التالي:

• يحتفظ harness بحالة العالم المتطورة وفق القواعد المحددة؛
• ويحسم الإجراء الذي اختاره المستخدم، ويحوّل الحدث الناتج إلى تعليمات نصية؛
• ويوفّر مقطع معاينة من مشهد ثلاثي الأبعاد قابل للتحرير تلميحًا مكانيًا وتلميحًا خاصًا بالكاميرا؛
• ثم يعرض نموذج الفيديو المجمَّد الحدث؛
• ويُستخدم المقطع المولَّد لتحديث حالة العالم قبل الدور التالي.

يغلق البند الأخير الحلقة: فالدور التالي يستند إلى ما ظهر فعليًا على الشاشة، وليس إلى السجل الداخلي وحده.

الاختبار والأرقام

للتحقق من الالتزام بالقواعد، بنى المؤلفون WorldState-Bench. وهو يضم 50 زوجًا توأمًا مضادًا للواقع. يشترك الزوج في إطار ابتدائي واحد وإجراء واحد، لكن الحالة الخفية والنتيجة المطلوبة تختلفان. ولا يُحتسب الزوج إلا إذا قدّم النموذج النهايتين الصحيحتين في الحالتين معًا. لذلك فإن النموذج الذي يرسم دائمًا نتيجة واحدة نمطية يخفق حتمًا في نصف الزوج.

أبرز النتائج:

• جرى اختبار 11 واجهة خلفية للفيديو بتلميح يتضمن القواعد فقط؛
• وأفضلها يقدّم النهايات المطلوبة في الحالتين معًا في 32% من الأزواج؛
• وMiniMax-H3 مع تحديد النهايات المطلوبة صراحةً يرتفع من 32% إلى 64%؛
• وharness الكامل مع MiniMax-H3 المجمَّد نفسه يصل إلى 92%.

يتوزع المكسب تقريبًا مناصفةً. فأول 32 نقطة مئوية جاءت من مجرد تحويل القاعدة إلى نتيجة محددة في الموجّه (prompt). وأضاف باقي مكوّنات harness 28 نقطة أخرى: معاينة ثلاثية الأبعاد، والحالة بين الأدوار، والتغذية الراجعة من المقطع. لم يصبح نموذج الفيديو أذكى، لكنه لم يعد يُكلَّف بعمل يفوق قدرته.

ماذا يعني ذلك عمليًا

بالنسبة إلى الفرق التي تبني محاكيات تفاعلية أو نماذج أولية للألعاب أو بيئات تدريب للوكلاء، الاستنتاج عملي: الأفضل إبقاء منطق العالم في الشيفرة، لا مطالبة نموذج الفيديو بـ«تذكّره». فالقواعد والمخزون والأقفال والعدّادات تُوصَف صراحةً، ويتلقى المولِّد تعليمات جاهزة. وهذا يسهّل التنقيح أيضًا: يمكن العثور على الخطأ في النتيجة داخل القاعدة، لا في الأوزان.

ومع ذلك، لا بد من الحذر. فالاختبار صغير، 50 زوجًا فقط، وقد أعدّه المؤلفون أنفسهم. وتُظهر نسبة 92% أن النهج يعمل على هذه المجموعة، لكنها لا تضمن النتيجة نفسها في المشاهد المفتوحة التي تضم مئات القواعد. أما زمن الاستجابة وتكلفة كل دور وتعقيد كتابة القواعد لعوالم جديدة فلم يُكشف عنها في الوصف المتاح، وهي معايير حاسمة في أي منتج.

وثمة خطوة مفيدة يمكن اتخاذها الآن: أن تبني أزواجك المضادة للواقع الخاصة بمهمتك، وتشغّل عليها واجهة الفيديو الخلفية التي تستخدمها حاليًا. فإذا كانت النتيجة قريبة من 32%، فالمشكلة على الأرجح في البنية المعمارية، لا في اختيار النموذج.