نموذج JEPA صغير يضاهي التنبؤ بالرمز التالي بـ 21,6M مثال بدلًا من 900M

يصطدم التدريب المسبق للنماذج اللغوية بعقبة واحدة: عدد الأمثلة التي يجب تمريرها عبر النموذج. فالوصفة القياسية، وهي إجبار النموذج على التنبؤ بالرمز (token) التالي، أي الكلمة التالية في جوهره، تتطلب مئات الملايين من النصوص. وقد أظهر راندال بالستريرو ويان لوكون أن هناك طريقة أخرى. فنموذجهما النصي بحجم 109M معامل، المدرَّب وفق بنية JEPA على «الزوايا الجيدة»، ساوى التنبؤ بالرمز التالي في جودة التوافق مع الصور: 10,9% مقابل 11,1%. ومع ذلك لم يرَ سوى 21,6M مثال بدلًا من 900M، أي أقل بـ 42 مرة. تخيّلوا أنكم تدرّبون نظام بحث في كتالوج منتجات: بدلًا من تغذية النموذج بغيغابايتات من الأوصاف العشوائية، تمنحونه أزواجًا من نوع «صورة المنتج — نصه». وهذه الأزواج بالذات هي موضوع البحث.

ما المقصود بالزاوية «الجيدة» و«السيئة»

JEPA عائلة من نماذج التعلّم الذاتي (self-supervised). تُدرَّب هذه النماذج بحيث تقع التمثيلات (embeddings) لمثالين «إيجابيين» قريبة من بعضها، دون أن تنهار في نقطة واحدة. والحاسم هنا هو مصدر الأزواج الإيجابية.

لنأخذ صورة قطة على أريكة. «الزاوية السيئة» هي الصورة نفسها بعد قصّها أو تمويهها أو تغيير سطوعها. هذه تشويهات للملاحظة ذاتها: يتعلّم النموذج بسهولة تجاهلها، لكنه لا يعرف عن العالم إلا القليل. أما «الزاوية الجيدة» فهي ملاحظة أخرى للمشهد نفسه: لقطة من زاوية مختلفة أو وصف نصي للصورة ذاتها. ولكي يربط النموذج بين مثل هذه الأمثلة، عليه أن يستخلص ما يقف فعلًا وراء المشهد.

يبرهن المؤلفون نظرية عن «التمثيلات الأفلاطونية» لنماذج JEPA. تفترض الفرضية الأفلاطونية أن نماذج مختلفة تُدرَّب على بيانات مختلفة تصل إلى تمثيل داخلي متشابه للعالم. وتشرح النظرية الشروط التي يحدث فيها ذلك مع JEPA. كما يبيّن البحث أن التنبؤ بالرمز التالي يُبنى رياضيًا كنموذج JEPA بزوايا سيئة: فالسياق والاستمرار جزآن من النص نفسه.

ماذا تقول الأرقام

قورنت الجودة على المقياس متعدد الوسائط WIT-1024 بالاقتران مع مشفّر الصور DINOv2 ViT-B. والمقياس المعتمد هو mutual 10-NN: لنفس الكائنات نرصد عدد الجيران المتطابقين من بين أقرب عشرة جيران في الفضاء النصي وفضاء الصور. وكلما ارتفعت النسبة، زاد اتساق الوسيطين.

• حقق نموذج JEPA النصي بحجم 109M معامل مع الزوايا الجيدة نسبة 10,9% على 21,6M مثال. أما التنبؤ بالرمز التالي على المدونة نفسها فأعطى 11,1%، لكنه تطلّب 900M مثال.
• عندما دُرّب النموذج على نصوص مرتبطة بـ 940M صورة من الويب، بلغ 18,4%. بينما سجّل Qwen2.5-72B نسبة 15,4%، وLlama-3-70B نسبة 15,1%، والمشفّر النصي في CLIP نسبة 12,4%.

وهناك نتائج جانبية أيضًا. فيمكن ربط مشفّرين منفصلين أحاديي الوسيط، أحدهما نصي والآخر للصور، بإسقاط واحد متعامد ومعياري. وتولّد هذه الحزمة أوصافًا للصور بدرجة CIDEr تبلغ 0,838 على COCO. ويمكن كذلك مواءمة الوسائط دون أي بيانات مزدوجة أصلًا: بلغت دقة top-5 على ImageNet-100 نسبة 64,4% مقابل 47,6% لدى Qwen3-8B. وقد نُشرت الشيفرة والبرهان والعرض التجريبي.

ما الذي ينبغي أخذه في الحسبان وماذا نفعل

أولًا، يقيس المقياس اتساق النص مع الصور، لا الجودة العامة للنموذج اللغوي. ولا يصح قراءة النتيجة على أنها «نموذج 109M أذكى من Llama-3-70B»: فهو لا يختبر القدرة على كتابة الشيفرة أو الاستدلال.

ثانيًا، وهذا القيد الرئيسي: يعتمد المكسب على نصوص الويب على زوايا مجمّعة بحسب معرّف الصورة (ID)، وعلى أوصاف صور ولّدها نموذج مدرَّب مسبقًا. أي أن نموذجًا آخر أنجز جزءًا من العمل، وتكلفته غير منعكسة في المقارنة «بأمثلة أقل بـ 42 مرة». وفي المهام التي لا يوجد فيها «مشهد» طبيعي بعدة ملاحظات، لا تنتقل الوصفة مباشرةً. وهذا بحث منشور كنسخة أولية (preprint)، ولا توجد حتى الآن عمليات إعادة إنتاج مستقلة.

الخلاصة العملية موجّهة لمن يبني بحثًا متعدد الوسائط أو أنظمة توصية أو يدرّب مشفّرات لمجاله الخاص. فبدلًا من توسيع المدونة، يجدر التفكير في كيفية تجميع أزواج من أوصاف مختلفة لكائن واحد: صورة المنتج ونصه، ولقطة شاشة للواجهة ووصف السيناريو، ومقطع من التوثيق وسؤال عنه. وإذا كانت لديكم مجموعات كهذه بالفعل، فقد يحقق نموذج صغير جودةً يُلجأ عادةً لبلوغها إلى نماذج أكبر بأضعاف.

أما لبقية القرّاء، فهي إشارة إلى أن الجدل حول «الحجم مقابل بنية البيانات» لم يُحسم. وإذا تأكدت النتيجة على معايير ووسائط أخرى، فلن يبقى التنبؤ بالرمز التالي الوصفة المعقولة الوحيدة للتدريب المسبق.