إثبات فرضية أفلاطون لبنية JEPA: نموذج نصي بـ109M يتفوق على Qwen2.5-72B

ظهرت فرضية التمثيل الأفلاطوني (PRH) في صورة ملاحظة: كلما كبرت النماذج، زاد تشابه التمثيلات الداخلية للنماذج البصرية واللغوية، وكأنها جميعًا تقترب من نموذج إحصائي واحد للواقع. ولم يكن لها دليل. يحوّل العمل الجديد هذه الفرضية إلى نظرية لفئة من البنى هي JEPA (Joint-Embedding Predictive Architectures). وهذه نماذج تتعلم التنبؤ بتضمين «منظر» واحد للكائن انطلاقًا من تضمين منظر آخر، بدلًا من إعادة بناء البكسلات أو الكلمات. والرقم الرئيسي في الدراسة: نموذج JEPA نصي بـ109 مليون معامل يسجل .184 في مقياس التشابه مع النموذج البصري DINOv2. وتسجل جميع النماذج اللغوية التي جرى اختبارها، وصولًا إلى Qwen2.5-72B (.154)، قيمًا أقل. وللمقارنة، يحصل المرمّز النصي في CLIP على .124.

ما الذي أُثبت بالضبط

يفترض المؤلفون عالمًا مثاليًا: عدد منتهٍ من الحالات، وكل وسيط (صور، نص، فيديو، صوت، إجراءات) يرصده دون فقدان للمعلومات. ونموذج JEPA المزوّد بمضاد انهيار «مبيَّض» (whitened)، أي بشرط ألا تنهار التضمينات في نقطة واحدة، يتعلم التمثيل الطيفي لرسم أزواجه الموجبة. والزوج الموجب هو مدخلان يعدّهما النموذج منظرين للشيء نفسه.

إذا كانت الأزواج الموجبة في وسيطين تربط الحالات نفسها للعالم، فإن مهمتي التعلم تتطابقان ولا تختلفان إلا في نظام الإحداثيات. وعندئذ تتطابق الحلول حتى الدوران. وهذه هي نظرية التمثيل الأفلاطوني. أما إذا اختلفت الأزواج، فإن عدم التوافق يحدّه من الأعلى مقدار هذا الاختلاف وحجم الفجوة الطيفية. واختُبر هذا الحد على 300 عالم عشوائي: الخطأ أقل من التقدير في جميع الحالات، وبحد أقصى 18% منه.

تحفظ: تعمل النظرية في الصياغة المثالية. ولا تغطي حالة JEPA ذات المتنبّئ (predictor)، كما في نماذج العالم المشروطة بالإجراء. ويبقى افتراضًا القولُ بوحدانية الحل عند فرض قيد توزيعي كامل (SIGReg في LeJEPA).

«المناظير» الجيدة والسيئة

يتعلق الاستنتاج العملي الرئيسي بالمواد التي تُبنى منها الأزواج.

• المناظير الجيدة: ملاحظتان مختلفتان للمشهد نفسه، مثل تعليقين على الصورة نفسها أو إطارين من فيديو. وهما لا يتشاركان إلا المشهد، ولذلك يعكس التمثيل العالم. • المناظير السيئة: تشويهات لملاحظة واحدة، مثل قصّين للصورة نفسها أو إخفاءين لجملة واحدة. وهي تحتفظ أيضًا بـ«ضجيج» الوسيط: اختيار الكلمات وزاوية التصوير والإضاءة. ويصرف النموذج جزءًا من أبعاد التضمين على هذا الضجيج، ولا يمكن لأي دوران أن يوفّق بينه وبين الوسيط الآخر.

وفق هذا المنطق، يتبيّن أن التنبؤ بالرمز التالي هو أيضًا JEPA بمناظير سيئة: فالزوج هنا هو البادئة (prefix) والتتمة داخل مستند واحد. ويفسّر هذا لماذا لا تتطابق النماذج اللغوية مع الرؤية إلا جزئيًا، وفي الأساس بفضل الحجم. كما أن DINOv2 نفسه ومرمّزات المؤلفين تندرج ضمن المناظير السيئة، لأن أزواجها هي قصّات من الصورة نفسها.

ما أظهرته التجارب

درّب المؤلفون نماذج JEPA نصية على تعليقات الصور، حيث تنشأ المناظير الجيدة بصورة طبيعية، وقارنوها بالنماذج اللغوية.

• يسجل نموذج بـ33M معامل، دُرّب على نصوص 50 مليون صورة من الويب، قيمة .125 في المعيار المأخوذ من دراسة PRH. وعلى 145 ألف تعليق من Flickr تبلغ قيمته .

034. والنتيجة بمستوى Qwen2.5-3B وQwen2.

5-7B. • على المجموعة نفسها، تبلغ المناظير الجيدة بـ21,6 مليون مثال درجة التشابه التي يحققها التنبؤ بالرمز بـ900 مليون. أي بفارق 42 مرة.

• النسخة ذات 109M، المدرَّبة على نصوص 940 مليون صورة، قرأت 116 مليار رمز. وهي تتفوق على نماذج أكبر منها بـ660 مرة ودُرّبت على بيانات أكثر بأكثر من 100 مرة. ومع المرمّز البصري CLIP ViT-H تسجل .

230 مقابل .210 لأفضل LLM. • يخضع عدم التوافق لقانون تدرّج (scaling law) يعتمد على نسبة المناظير الجيدة وعدد الأمثلة المرئية.

وقد تنبأ بنتائج 85 تشغيلًا جديدًا قبل تدريبها بدقة مماثلة لدقة إعادة التشغيل ببذرة عشوائية مختلفة.

وهناك أيضًا نتائج تطبيقية. تربط خريطة خطية واحدة ذات صفوف متعامدة معيارية، وهي الجزء الوحيد المدرَّب على الأزواج، بين DINOv2 وDINOv3 المجمَّدين ونموذج لغوي دُرّب لاحقًا على النص فقط. وتحقق هذه التركيبة CIDEr .838 على COCO. وتحتاج الخريطة إلى 0,22M معامل لـDINOv2 ViT-B وإلى 1,9M لأفضل نموذج لتوليد التعليقات. أما دون أي زوج، فيُبحث عن الدوران عبر هندسة الصور والتعليقات غير المتقابلة. ويتفوق نموذج JEPA النصي ذو 109M على جميع نتائج zero-shot في المعيار السابق على 21 زوجًا من النماذج وخمسة إعدادات. كما يتقدم على Qwen3-8B بـ17 نقطة دقة في zero-shot على ImageNet-100.

القيود وما ينبغي أن يأخذه المهندسون

للنتائج حدود. فنموذج JEPA البصري المدرَّب على مناظير جيدة وعلى 7 آلاف مقطع من MSR-VTT لا يزال أضعف بوضوح من DINOv2. ويرجئ المؤلفون توسيع نطاق المناظير الجيدة إلى الصور إلى وقت لاحق. والتعليقات تصف جزءًا فقط من الصورة، ولا تأخذ النظرية ذلك في الحسبان إلا عبر مقياس عدم تطابق الأزواج.

والخلاصة للممارسين: إذا كنت تحتاج إلى تضمين متعدد الوسائط موحّد، فليس حجم النموذج هو الأهم، بل طريقة تكوين الأزواج الموجبة. فالأوصاف الحرفية لما يُرى، مثل إعادة كتابة التعليقات (recaptions) في LLaVA، تعمل أفضل من النصوص البديلة (alt-text). ويمكن لمرمّز نصي صغير جدًا بأزواج صحيحة أن يحل محل LLM ضخم حيث يُطلب فقط التوافق مع الفضاء البصري.