باحثون يشرحون كيف تختار JEPA السمات: الروابط هي المهمة لا السمات المنفردة

نشر الباحثون Mosh Levy وAly Lidayan وYoav Goldberg ورقة بحثية تغيّر التفسير المتعلق بما يدخل فعليًا في تمثيل JEPA (joint-embedding predictive architecture). كان الاعتقاد السائد أن هذه البنية تحتفظ بالسمات التي يمكن التنبؤ بها جيدًا بذاتها. يرى المؤلفون أن هذه الصورة ناقصة. فالانتقاء يجري على مستوى مجموعات السمات التي يتنبأ بعضها ببعض. وقد أطلقوا على هذه الخاصية اسم predictive closure، أي «الانغلاق التنبؤي». صدرت الورقة برقم 2610.27364 في 19 أكتوبر 2026، وقدّمها Mosh Levy على Hugging Face Daily Papers، أما الشيفرة فمتاحة في المستودع Mosh0110/predictive-closure.

لماذا لا ينبغي أن تختفي إشارة المرور

في JEPA يتدرّب المرمِّز (encoder) والمتنبِّئ (predictor) معًا. والمهمة هي تقليل خطأ التنبؤ بتمثيل الملاحظة التالية. وثمة تفصيل غير بديهي هنا: تمثيلا الملاحظة الحالية والملاحظة التالية كلاهما يُتعلَّم ولا يُحدَّد مسبقًا. لذلك لا يُعرف مسبقًا أي السمات ستظهر فيهما.

وصفت الأعمال السابقة الانتقاء من خلال قابلية كل سمة للتنبؤ بشكل فردي. ومن هنا نشأ تخوّف: السمة غير القابلة للتنبؤ بذاتها سيتخلص منها المرمِّز ببساطة. يضرب المؤلفون مثال إشارة المرور. فمن الصعب تحديد موعد تغيّرها. لكن لونها يساعد كثيرًا على التنبؤ بما إذا كانت حركة السيارات ستتوقف. فخطأ التنبؤ لا يعتمد على السمات نفسها فحسب، بل على الروابط بينها أيضًا، والأوصاف القديمة لم تأخذ هذه الروابط في الحسبان.

الانتقاء على مستوى المجموعات

أعاد المؤلفون صياغة هدف التدريب في JEPA، وبيّنوا أن النتيجة تحددها خصائص مجموعات السمات لا العناصر المنفردة. فإذا تطورت السمات بصورة مستقلة عن بعضها، تتطابق الخاصية الجديدة مع الخصائص السابقة. وتظهر الفروق عندما تكون السمات مترابطة. عندها قد تبقى سمة غير قابلة للتنبؤ مثل إشارة المرور في التمثيل، لأنها لازمة للتنبؤ بسمات أخرى.

اختُبرت النظرية في تجارب مضبوطة. والنتائج كما يلي:

• تُمثَّل السمات غير القابلة للتنبؤ بصورة أفضل حين تساعد على التنبؤ بسمات أخرى؛
• تغيير الروابط التنبؤية لسمة واحدة يؤثر في جودة تمثيل السمات الأخرى؛
• الهدف المساعد (auxiliary objective) الموجَّه إلى سمة واحدة يعزّز تمثيل سمة أخرى تساعد الأولى على التنبؤ بقيمها المستقبلية؛
• تمرير سمة إلى المتنبِّئ بوصفها side information يعطي التأثير غير المباشر نفسه.

التحكم غير المباشر في التمثيل

أكثر الاستنتاجات أهمية من الناحية العملية يتعلق بقابلية التحكم. فإذا أردنا أن يرمّز النموذج سمة معينة على نحو أفضل، فليس من الضروري التأثير فيها مباشرة. بل يمكن تعزيز السمة المرتبطة بها: بإضافة هدف مساعد لها أو بتمريرها إلى المتنبِّئ بوصفها معلومات إضافية. ويتحسن تمثيل السمة المستهدفة إذا كانت السمة المعزَّزة تساعد على التنبؤ بمستقبلها. ويعمل ذلك في الاتجاه المعاكس أيضًا: فإذا أُضعفت روابط سمة ما، قد تتضرر سمات أخرى كانت تعتمد عليها.

يتمثل القيد الرئيسي للعمل في النطاق. فالتجارب مضبوطة، أي أُجريت على بنى اصطناعية تُعرف فيها الروابط بين السمات. أما كيف يظهر predictive closure في النماذج الكبيرة على فيديو حقيقي أو بيانات روبوتية أو في نماذج العالم (world models) فلا تتحقق منه الورقة. لكن الإطار نفسه مفيد، لأنه يوفّر لغة لمناقشة سؤال كانت الإجابة عنه تعتمد من قبل على الحدس.

ما الذي يمكن اختباره عمليًا

تحصل الفرق التي تدرّب نماذج شبيهة بـ JEPA للفيديو والروبوتات والتخطيط على مجموعة محددة من الفرضيات. أولًا، عند تشخيص السمات المفقودة، ينبغي النظر إلى دورها في التنبؤ بسمات أخرى، لا إلى قابليتها الذاتية للتنبؤ فقط. ثانيًا، إذا كانت سمة مهمة تُرمَّز بصورة سيئة، يمكن تجربة تعزيز السمة المرتبطة بها بهدف مساعد أو side information. ثالثًا، عند تغيير تركيب بيانات الإدخال أو شروط التنبؤ، يجب التحقق مما إذا كانت سمات أخرى قد تضررت، ممن كانت تعتمد على الروابط المحذوفة.

وبالنسبة إلى الصناعة، تمثل هذه الورقة خطوة من الأساليب الاستدلالية نحو نظرية لانتقاء السمات في إحدى أكثر بنى التعلم الذاتي تداولًا. ومستودع التجارب مفتوح، لذلك يمكن إعادة إنتاج النتائج ونقلها إلى المهام الخاصة بكل فريق.