يان لوكون يقدّم LeWorldModel: نموذج JEPA يتعلم من البكسلات دون انهيار التمثيلات

قدّم فريق من الباحثين بقيادة يان لوكون نموذج LeWorldModel، أو LeWM، وهو نموذج عالم (world model) جديد لتدريب الوكلاء مباشرة على بيانات البكسلات. ويؤكد المؤلفون أن النموذج يعالج إحدى أبرز مشكلات نهج JEPA، وهي انهيار التمثيلات (representation collapse)، ويسرّع التخطيط بشكل ملحوظ في الوقت نفسه.

لماذا يتعثر JEPA

يحتاج الوكلاء إلى نماذج العالم لبناء خريطة داخلية مدمجة للبيئة، وحساب الإجراءات في الفضاء الكامن (latent space) بدلًا من الإطارات الخام. لكن هذه الأنظمة كثيرًا ما تنزلق عند التدريب المباشر على الصور إلى انهيار التمثيلات: إذ تبدأ المشاهد المختلفة بالترميز بصورة متشابهة أكثر مما ينبغي، فيؤدي النموذج مهمة التنبؤ شكليًا لكنه يفقد البنية المفيدة للعالم.

ولهذا يضطر المطورون إلى تأمين التدريب بحيل مساعدة، مثل stop-gradient وEMA والمشفّرات المجمّدة ودوال الخسارة متعددة المكوّنات. وتزداد المشكلة حدة بالنسبة للوكلاء الذين يحتاجون إلى تخطيط سلاسل طويلة من الإجراءات: فإذا تدهور الفضاء الخفي، يفقد المخطِّط قدرته على التمييز بين السيناريوهات الجيدة والسيئة.

كيف يعمل LeWM

يسعى LeWM إلى إزالة هذا التعقيد. تتكوّن البنية من جزأين رئيسيين: مشفّر يحوّل الإطار إلى تمثيل كامن مدمج، ومتنبّئ (predictor) يقدّر الحالة التالية انطلاقًا من الحالة الحالية والإجراء. ويستخدم التنفيذ نموذج ViT-Tiny بنحو 5 ملايين معامل، ومتنبّئًا من نوع المحوّل (Transformer) بنحو 10 ملايين معامل، فيبلغ حجم النظام كله 15 مليون معامل، ويمكن تدريبه، بحسب المؤلفين، على وحدة GPU واحدة في غضون بضع ساعات.

الفكرة الأساسية هي عدم تكديس أهداف مساعدة، والاكتفاء بالتنبؤ بالتضمين (embedding) التالي مع المنظِّم SIGReg. يُلزم SIGReg المتجهات الكامنة بأن تبقى متنوعة وقريبة من التوزيع الغاوسي متساوي الخواص. ولتحقيق ذلك، لا ينظر النموذج إلى الفضاء بأكمله دفعة واحدة، بل إلى مجموعة من الإسقاطات أحادية البعد العشوائية، ويفحص إحصاءاتها. ويُفترض أن يقلل هذا الأسلوب خطر التمثيلات المتدهورة دون بنية هندسية ثقيلة.

ومن الناحية العملية، يبقى في LeWM معامل فائق واحد مهم فعلًا، هو وزن التنظيم λ، بينما تحتوي أقرب بدائله من نمط end-to-end، وهو PLDM، على إعدادات أكثر بكثير. ويشير المؤلفون أيضًا إلى أن الاستقرار استفاد من dropout بقيمة 0,1 في المتنبّئ ومن طبقة إسقاط صغيرة بعد المشفّر.

ماذا أظهرت الاختبارات

وفق نتائج الورقة، لم يكن LeWM أكثر استقرارًا في التدريب فحسب، بل أسرع أيضًا في مرحلة التخطيط. يقارنه المؤلفون بـ PLDM وDINO-WM في مهام الملاحة والمعالجة (manipulation) والتحكم في بيئات ثنائية وثلاثية الأبعاد. ويعمل النموذج مباشرة مع البكسلات، دون مشفّر أساسي (foundation) مجمّد ودون الارتباط بمهام تتطلب مكافأة، ومع ذلك يظل منافسًا في عدة اختبارات معيارية.

• نحو 200 مرة أقل من الرموز (tokens) لكل إطار مقارنةً بـ DINO-WM
• تخطيط أسرع حتى 48 مرة: نحو 0,98 ثانية مقابل 47 ثانية للدورة الواحدة
• دالتا خسارة فقط بدلًا من سبع في نُهج PLDM المبنية على VICReg
• معامل فائق رئيسي واحد بدلًا من مجموعة إعدادات يدوية
• يلتقط الفضاء الكامن الكميات الفيزيائية ويرصد الأحداث «المستحيلة» مثل انتقال الأجسام آنيًا (teleportation)

واختبر المؤلفون بصورة منفصلة ما إذا كان النموذج يفهم المنطق الفيزيائي للمشهد، لا مجرد تخمين الإطارات التالية. ففي اختبارات انتهاك التوقعات (violation-of-expectation)، تفاعل النظام بقوة أكبر مع الأحداث غير المعقولة فيزيائيًا، مثل الانتقال المفاجئ لجسم، مقارنةً بالتغيرات البصرية المحضة.

ومن الظواهر اللافتة الأخرى ما يُعرف بـ temporal latent path straightening: فمع تقدم التدريب أصبحت المسارات في الفضاء الكامن أكثر سلاسة وخطية، حتى دون عقوبة منفصلة تفرض هذا السلوك عمدًا. وهذا مهم لأن المسارات الكامنة الأكثر انتظامًا تسهّل عادةً البحث عن الإجراءات أثناء التخطيط.

ماذا يعني ذلك

يمثل هذا إشارة مهمة لسوق الوكلاء: فنماذج العالم تعود لتصبح اتجاهًا عمليًا، لا مجرد فكرة أكاديمية. وإذا أكد LeWM والنُّهج المشابهة نتائجها خارج الاختبارات المعيارية المخبرية، فسيتمكن المطورون من بناء وكلاء أسرع وأقل كلفة، يخططون في فضاء حالات مدمج دون مشفّرات foundation ثقيلة. ويهم ذلك بصفة خاصة الروبوتات والتعلم المعزز دون اتصال (offline RL) والأنظمة التي تكون فيها كلفة الخطأ والتأخير حرجة.

وباختصار، يبيّن LeWM أن مواجهة انهيار التمثيلات لا تتطلب بالضرورة تعقيد المنظومة، بل صياغة أدق لمهمة التعلم نفسها.