النماذج الهجينة تتفوق على المحوّلات في التنبؤ بالكلمات ذات المعنى — دراسة من Allen AI

اكتشف فريق Allen AI (Ai2) على أي الرموز تتفوق النماذج اللغوية الهجينة على المحوّلات، وأين تتلاشى هذه الأفضلية. قارن الباحثون بين OLMo 3 (محوّل) وOLMo Hybrid في ظروف تدريب متطابقة، بهدف عزل الأثر المعماري وحده.

المحوّل مقابل النموذج الهجين

السؤال الرئيسي في الدراسة: ما الذي يتغير بالضبط في سلوك النموذج عندما يُستبدل جزء من طبقات الانتباه بطبقات تكرارية؟ دُرّب النموذجان على البيانات نفسها: مقالات وصفحات ويكيبيديا وكتب وأوراق علمية وشيفرات برمجية وHTML وLaTeX. وقيست الفجوة في دالة الخسارة عند التنبؤ بالرمز التالي («loss gap») لا بالمتوسط، بل موزعةً حسب الفئات.

الفرق الجوهري بين المعماريتين:

• المحوّل يصل إلى كل رمز سابق عبر آلية الانتباه، وهذا دقيق لكنه مكلف حسابيًا، إذ تزداد التكلفة مع طول السياق.
• النموذج الهجين يتناوب بين طبقات الانتباه والطبقات التكرارية، وهذه الأخيرة تحتفظ بـ«لقطة» ثابتة الحجم من التاريخ بتكلفة حسابية ثابتة، مهما بلغ طول التسلسل.

يتفوق المكوّن التكراري حيث يهمّ تتبع تغيّر المعلومات. أما الانتباه فلا غنى عنه حيث يلزم استحضار رمز محدد من الماضي بدقة.

أين يتفوق النموذج الهجين

ظهر نمط واضح في جميع أنواع النصوص: يتنبأ النموذج الهجين بدقة أكبر بـالكلمات ذات المعنى، أي الأسماء والأفعال والصفات. بلغت فجوة الخسارة لصالحه على هذه الرموز نحو 0,04، في حين تقل الفجوة إلى النصف، أي 0,02، في الكلمات الوظيفية (حروف الجر وأدوات التعريف وحروف العطف).

ويبقى المحوّل منافسًا حيث يكفي التقاط نمط نحوي سطحي.

ولفهم طبيعة هذه الأفضلية، قارن الباحثون إضافةً إلى ذلك بين ثلاث معماريات على نماذج بحجم 1B معامل: محوّل، ونموذج هجين، ونموذج تكراري بالكامل دون طبقات انتباه. وكانت النتيجة على الرموز ذات المعنى غير المتكررة معجميًا كما يلي:

• تفوق النموذجان، الهجين والتكراري الخالص، على المحوّل.
• جاء النموذج الهجين في المركز الأول بين هذين النموذجين.
• تخلّف النموذج التكراري الخالص، الذي لا يملك طبقات انتباه، عن النموذجين الآخرين في المقاطع المتكررة.

ويدل ذلك على أن الطبقات التكرارية وحدها تمنح أفضلية على الرموز ذات المعنى، وأن وجود طبقات الانتباه يعالج نقطة ضعف النموذج التكراري في النسخ الدقيق للنص.

أين تختفي الأفضلية

مطابقة الأقواس. يتنبأ المحوّل والنموذج الهجين بالأقواس الختامية، في الشيفرة أو في النص الرياضي، بدقة شبه متطابقة. يكفي هنا النظر إلى الخلف عبر الانتباه لإيجاد القوس الافتتاحي المقابل، ولا يضيف المكوّن التكراري أي مكسب.

التكرارات من نوع n-gram. كلما طال المقطع الذي يعيد النموذج إنتاجه حرفيًا من نص سبق أن ظهر، تقلّص الفارق لصالح النموذج الهجين. وفي المقاطع الطويلة جدًا يقترب الفارق من الصفر. أما النماذج التكرارية الخالصة فتخسر أمام النموذجين الآخرين في مثل هذه التكرارات، لأن «استحضار» تسلسل بعينه بدقة هو بالتحديد ما يلزم له الانتباه.

«نموذج OLMo الهجين أقوى في الرموز الحاملة للمعنى — الأسماء والأفعال

والصفات»، يشير المؤلفون، مضيفين أن هذه الأفضلية تتضاءل عند إعادة إنتاج النص المتكرر.

ماذا يعني ذلك

يخفي المقياس التجميعي (دالة الخسارة الإجمالية) الفروق المعمارية: فلا يُظهر أين يتفوق أحد النهجين على الآخر إلا التصفية حسب فئات الرموز. ويعتزم فريق Allen AI توظيف هذه الاستنتاجات في تطوير المعماريات الهجينة لاحقًا، عبر تحسين مكوّنات محددة لا الأرقام المتوسطة.