اختبار حساسية LeWorldModel للإجراءات: المحاور الرئيسية تنحرف بمقدار 36–42°

قد يتنبأ نموذج العالم (world model) المدرَّب مسبقًا بالمستقبل جيدًا، ومع ذلك يستجيب بشكل خاطئ للتغيرات الصغيرة في الإجراءات. هذا ما اختبره Vasil Vasilev وSiddharth Nayak في ورقة arXiv 2610.31716 حول LeWorldModel (LeWM). على ما يقارب ألف حالة من بيئتي Reacher وOGBench Cube، تنحرف أكثر اتجاهات الإجراءات حساسية في النموذج عنها في المحاكي بمقدار 36° و42° على التوالي في الوسيط. وهذه النتيجة تخص أصغر المقاييس الثلاثة للاضطرابات.

كيف قِيست الحساسية للإجراءات

النموذج الذي يتنبأ بالملاحظة التالية لا يفهم بالضرورة كيف تعتمد الاستجابة على الإجراء. أما في التخطيط والتحكم، فالأمر الثاني هو الأهم. يجرّب المخطِّط خيارات إجراءات متعددة ويختار الإجراء الذي يبدو المستقبل المتوقَّع بعده أفضل. وإذا نقل النموذج بشكل خاطئ أي الحركات تغيّر النتيجة أكثر من غيرها، فإن عملية التحسين تجري على مشهد مشوَّه.

بنى المؤلفون مصفوفات غرام (Gram) للإجراءات، أي وصفًا لمدى قوة تحريك التغيير الصغير في الإجراء للنتيجة وفي أي اتجاهات. وللمقارنة استخدموا تشغيلات مقابلة (counterfactual) مزدوجة للمحاكي واستجابات النموذج انطلاقًا من الحالة نفسها. وقِيست الحساسية على ثلاثة مقاييس للاضطرابات وفي ثلاثة تمثيلات: في البكسلات، وفي التضمينات (embeddings)، وفي إحداثيات مختارة للحالة الفيزيائية.

ماذا أظهرت Reacher وCube

تتعلق النتيجة الرئيسية بالاتجاهات. فإذا كانت توليفة معينة من مكوّنات الإجراء تغيّر العالم أكثر من غيرها في المحاكي، فإن LeWM يعدّ في الوسيط أن الاتجاه الأكثر حساسية هو اتجاه آخر، ينحرف بمقدار 36° في Reacher وبمقدار 42° في OGBench Cube. والمقصود هنا محاور الحساسية الرئيسية، لا ضجيجًا عشوائيًا في نقاط منفردة.

للمقياس تأثير كبير. فعند زيادة اضطراب الإجراء عشرة أضعاف، ينخفض التباعد الوسيط المطبَّع بين مصفوفات غرام بنحو 70% في Reacher وبنحو 47% في Cube. أي أن النموذج يقترب من البيئة عند التغيرات الأخشن في الإجراء، ويبتعد عنها بوضوح أكبر عند التغيرات الدقيقة. لذلك يعتمد الحكم على جودة LeWM على المقياس المختار للاختبار.

البكسلات والتضمينات والفيزياء

تعتمد الهندسة المقيسة أيضًا على الفضاء الذي تُحسب فيه. ففي البكسلات والتضمينات تتغير بين المقاييس بدرجة أكبر بوضوح مما تتغير في إحداثيات الحالة الفيزيائية. ويختلف تقييم النموذج بحسب ما إذا كان النظر موجَّهًا إلى الصورة، أو إلى التمثيل الكامن (latent)، أو إلى موضع الأجسام وسرعتها.

واختبر المؤلفون بصورة منفصلة التنبؤ بالاستجابة في اتجاهات محجوزة لم تشارك في بناء المقياس. وهذه هي النتائج بحسب الأخطاء الوسيطة لاستجابة التضمينات:

• Reacher، مقياس البيئة (environment Gram): 17%
• OGBench Cube، مقياس البيئة: 28%
• Reacher، المرجع متناحي الخواص ذو الأثر نفسه: 26%
• OGBench Cube، المرجع متناحي الخواص ذو الأثر نفسه: 38%
• LeWM عند هذا المقياس: أخطاؤه أعلى من أخطاء مقياس البيئة

يوزّع المرجع متناحي الخواص الحساسية بالتساوي على جميع الاتجاهات ويحافظ على القوة الإجمالية للاستجابة، أي على أثر المصفوفة (trace). ويعمل بوصفه حدًّا أدنى: فمقياس البيئة يتفوق عليه، بينما تعطي هندسة LeWM تنبؤات أقل دقة بحجم الاستجابة في الاتجاهات الجديدة من المقياس المشتق من البيئة.

ما الذي ينبغي فحصه قبل التخطيط باستخدام world model

الخلاصة العملية للمؤلفين: تقييم world model بدقة التنبؤات وحدها لا يكفي. فلا بد من النظر في كيفية تغيّر التنبؤات عند تغيّر الإجراءات، وعلى عدة مقاييس للاضطرابات وفي عدة تمثيلات. وإذا اقتصر الفحص على مقياس واحد، فقد يُظهر النموذج أفضل أو أسوأ مما سيكون عليه سلوكه في مهمة حقيقية.

لم تُثبت الدراسة وجود صلة بين هذه التباعدات وجودة التحكم. ويصف المؤلفون أثرها في التحكم صراحةً بأنه سؤال مفتوح، ويطلبون من زملائهم مشاركة آرائهم بشأن تبعاتها على التخطيط المبني على النموذج (model-based planning). وقد أُجري البحث على بيئتين وعلى نموذج واحد مدرَّب مسبقًا، ولذلك فمن المبكر تعميمه على جميع نماذج العالم (world models). ومع ذلك، تحصل الفرق التي تبني مخطِّطات فوق النماذج الكامنة على مجموعة محددة من أدوات التشخيص: مصفوفات غرام، والتشغيلات المقابلة للمحاكي، والاتجاهات المحجوزة. وقد نُشر المشروع على الصفحة geometry.vasi.boo.