نموذج من 109 ملايين معامل يتفوق على Llama-3 70B في مواءمة المعاني: ما الذي أثبته ليكون

قصة مألوفة: نقضي شهورًا في تنمية نماذج اللغة الكبيرة وندفع تكاليف مراكز البيانات، ومع ذلك يفشل النموذج في فهم ما يجمع بين عبارة «جرو يلعب عند البحر» وصورة شاطئ. يقدّم العمل الجديد لراندال بالستريرو ويان ليكون إجابة غير مريحة: المشكلة ليست في الحجم، بل في كيفية تكوين أزواج التدريب.

ما الذي أُثبت تحديدًا

في عام 2024 طرح باحثون من MIT فرضية التمثيل الأفلاطوني (Platonic Representation Hypothesis): كلما كبرت النماذج، تقاربت تمثيلاتها الداخلية لمختلف الوسائط (النص والرؤية والصوت). كان ذلك ملاحظة تجريبية. أما بالستريرو وليكون فحوّلاها إلى نظرية: إذا تعلمت وسائط مختلفة بطريقة JEPA على الأزواج الإيجابية نفسها، فإن فضاءاتها تتطابق حتى دوران متعامد.

تتنبأ JEPA (Joint-Embedding Predictive Architecture) لا بالبكسلات ولا بالرموز، بل بالتمثيلات الشعاعية. أما الضجيج غير القابل للتنبؤ، مثل الوجوه في القاعة أو الموضع الدقيق للكراسي، فيُستبعد على مستوى المشفّر بدلًا من إجبار الشبكة على التخمين.

المشاهد الجيدة والسيئة

الفكرة المحورية: ما الذي يُعدّ زوجًا. «المشهد الجيد» هو ملاحظتان مستقلتان للمشهد نفسه: وصفان مختلفان للصورة ذاتها أو لقطتان من مقطع واحد. ضجيجهما مختلف، ولذلك يضطر النموذج إلى ترميز القاسم المشترك، أي حالة العالم.

«المشهد السيئ» هو تشويهان لملاحظة واحدة: قناعان لجملة واحدة، أو اقتطاعان من صورة واحدة. ويُدرج المؤلفون هنا أيضًا التنبؤ بالرمز التالي: فالسياق والتتمة في وثيقة واحدة ويتشاركان أسلوب الكاتب ومفرداته. ويُستنزف جزء من سعة المتجه في هذا الضجيج فيضيع على المواءمة مع الوسائط الأخرى.

الأرقام

دُرّب مشفّر النصوص Good-View Text JEPA المبني على BERT-B (109 ملايين معامل) على أوصاف 940 مليون صورة من الويب. وعلى معيار WIT-1024، وبالاقتران مع DINOv2 المجمّد، سجّل Mutual 10-NN بقيمة 0.184 مقابل 0.154 لـQwen2.5-72B و0.151 لـLlama-3-70B. وهو أكفأ من نموذج التنبؤ بالرمز التالي بـ42 مرة من حيث عدد العينات، وبـ14 مرة من حيث عدد الرموز.

ونتيجتان أخريان تهمّان الممارسين. الأولى: مولّد تعليقات دون بيانات مزدوجة. دُرّب مفكّك Qwen2.5-1.5B على استعادة النص من تضمين مشوَّش، ثم رُبط بمشفّر الرؤية DINOv2 بمصفوفة دوران واحدة (مسألة بروكرستس). النتيجة: CIDEr 0.838 على COCO. والثانية: مواءمة دون أي أزواج عبر النقل الأمثل، بدقة top-5 بلغت 64.4% على ImageNet-100 مقابل حد أقصى 56% في العمل السابق.

كما استنتج المؤلفون قانون توسّع لجودة المواءمة تنبأ بـ85 تشغيلًا جديدًا بخطأ في حدود ضجيج التهيئة.

ما يجب مراعاته وأين الثغرة

تجري المقارنة وفق مقياس المواءمة مع الفضاء البصري، لا وفق الذكاء العام. فلا أحد يلغي Llama-3 70B: ستبقى أفضل في الاستدلال وكتابة الشيفرة والحوار. والمعايير تتعلق في الغالب بالاتساق متعدد الوسائط، وانتقال النتائج إلى الروبوتات لا يزال في طور الادعاء، بما في ذلك ارتباطه بالشركة الناشئة AMI Labs. إضافة إلى ذلك، هذا اقتباس مُكيَّف للعمل، ويجدر قراءة تصريحات «الطريق المسدود» لنماذج اللغة الكبيرة بوصفها موقف ليكون، لا مسألة محسومة.

الخلاصة العملية. إذا كنتم تبنون بحثًا متعدد الوسائط أو RAG للصور أو أنظمة توصية، ففكّروا في تركيبة الأزواج. فعدة أوصاف مستقلة للكائن نفسه قد تمنح أكثر من مليار رمز إضافي. ومن الجوانب التقنية القيّمة القص العشوائي للمقاطع (بدونه تنخفض الجودة بنحو 25%)، وقصّ التدرجات مع تنظيم SIGReg، وإمكانية ربط المشفّرات الجاهزة بدوران خطي بدلًا من التدريب المشترك المكلف. وبالنسبة إلى الفرق الصغيرة، هذه فرصة للحصول على تضمينات قوية على عتاد متواضع.