DSReg تربط المتغيرات الكامنة في JEPA بالأسباب الحقيقية للبيانات

اقترح باحثون من UIUC ومختبر كولد سبرينغ هاربور (CSHL) وجامعة براون ومعهد ماكس بلانك تقنية DSReg (Dependency-Sparsity Regularization). وهي تنظيم (regularization) لبنية JEPA يُفترض أن يجيب عن سؤال قديم: هل يستطيع النموذج فعلًا استعادة الآلية التي أنتجت الملاحظات؟ يؤكد المؤلفون أنه يستطيع. أما JEPA التقليدية فتضمن أمرًا واحدًا فقط: ألا تنهار التمثيلات الكامنة إلى قيمة ثابتة. أما التطابق بين محاور الفضاء الكامن والعوامل الحقيقية للعالم فلا تضمنه إطلاقًا.

لا انهيار، ومع ذلك لا معنى

JEPA (Joint-Embedding Predictive Architecture) نهج يروّج له يان لوكون منذ سنوات. لا يتنبأ النموذج بالبكسلات ولا بالرموز (tokens)، بل بتضمينات الأجزاء المخفية من المشهد انطلاقًا من الأجزاء المرئية. وبذلك لا يهدر قدرته الحاسوبية على الضجيج والتفاصيل الصغيرة. الخطر التقني الرئيسي هنا هو الانهيار: فقد يُخرج المُرمِّز (encoder) المتجه نفسه لأي مدخل، فيصبح التنبؤ مثاليًا وعديم الفائدة. ولمواجهة ذلك طُوّرت مجموعة من الأساليب: المتوسط المتحرك لتحديث الأوزان، وstop-gradient، وعقوبات على التباين والتغاير المشترك.

لكن غياب الانهيار يعني فقط أن المتجه يحمل معلومات. أما ما تشفّره كل إحداثية من إحداثياته فيبقى مجهولًا. والأرجح أن يكون كل محور مزيجًا من عدة عوامل حقيقية: موضع الجسم، والإضاءة، والسرعة، والخلفية. هذا مقبول في مهام التصنيف. أما في نموذج العالم الذي يُفترض أن يخطط للأفعال ويجيب عن سؤال «ماذا سيحدث لو غيّرنا هذا؟» فيصبح هذا الخلط مشكلة.

وهذه حالة خاصة من مشكلة قابلية التعريف (identifiability) المعروفة. ففي عام 2019 أظهر بحث Locatello وزملائه أنه من دون افتراضات إضافية لا يستطيع التعلم غير الموجَّه فصل عوامل التباين بشكل موثوق. فالبيانات وحدها تتيح تفسيرات متكافئة أكثر من اللازم.

ما الذي تضيفه DSReg

يتضح من الاسم ومن صياغة المسألة أين يبحث المؤلفون عن الافتراض الناقص. فهم يفرضون على المتغيرات الكامنة قيودًا بنيوية: تناثر الاعتماديات. والمنطق كالتالي. في العالم الحقيقي يؤثر كل عامل في عدد محدود من العوامل الأخرى وفي جزء محدود من الملاحظات. وإذا أُجبر النموذج على البحث عن تفسير مدمج كهذا، ينخفض عدد الحلول المقبولة انخفاضًا حادًا. ومعه تظهر فرصة لربط أبعاد النموذج بالمتغيرات المولِّدة الحقيقية ربطًا لا لبس فيه.

أبرز نتيجة عملية يعلنها المؤلفون: أن يكتسب كل بُعد في نموذج العالم معنى حقيقيًا. وهذا ما يميّز العمل عن معظم تحسينات JEPA التي تقيّم الجودة على مهام خارجية (التصنيف، linear probing) ولا تتحقق مما إذا كانت البنية الداخلية تتطابق مع بنية العالم.

من المشاركون وما المفاهيم ذات الصلة

• UIUC — جامعة إيلينوي في أوربانا-شامبين، أحد الفرق البحثية المشاركة في التأليف
• CSHL — مختبر كولد سبرينغ هاربور، مركز أبحاث في علم الأحياء وعلوم الأعصاب الحاسوبية
• جامعة براون — المجموعة العلمية الثالثة في المشروع
• معهد ماكس بلانك — الجهة المشاركة الرابعة
• JEPA — بنية تضمين مشترك مع تنبؤ في الفضاء الكامن
• DSReg — تنظيم للاعتماديات والتناثر (Dependency-Sparsity Regularization) اقترحه البحث
• انهيار التمثيلات — مشكلة باتت JEPA التقليدية قادرة على منعها
• قابلية تعريف المتغيرات الكامنة — المشكلة التي تعالجها DSReg

لماذا يهم هذا الصناعة

تحظى نماذج العالم حاليًا باهتمام كبرى المختبرات. فتطوّر Meta سلسلة V-JEPA، ومنها V-JEPA 2 للفيديو والروبوتات. وتعرض Google DeepMind عوالم تفاعلية توليدية باسم Genie. وتبني World Labs وعدد من الشركات الناشئة ما يُعرف بالذكاء المكاني. وفي كل هذه المشاريع يبرز المطلب نفسه: إذا كان الوكيل يخطط للأفعال في الفضاء الكامن، فلا بد من فهم معنى كل عنصر فيه. وتتيح المحاور القابلة للتفسير تشخيص الأخطاء، والتحكم في عوامل بعينها، ونقل النموذج بأمان إلى بيئة جديدة.

والخلاصة لفرق الهندسة بسيطة. عند تقييم النماذج الشبيهة بـ JEPA، من المفيد النظر لا إلى دقة المهام اللاحقة (downstream) فحسب، بل أيضًا إلى مدى اتساق الإحداثيات الكامنة مع العوامل المعروفة في البيانات الاصطناعية والخاضعة للتحكم. ويستحق الأمر متابعة نشر شيفرة DSReg واختباراتها المعيارية (benchmarks)، وكذلك ما إذا كان النهج سيصمد عند الانتقال من بيانات المختبر إلى الفيديو الحقيقي. فهناك تُختبر الافتراضات البنيوية حول التناثر اختبارًا حقيقيًا.