النماذج الهجينة تتنبأ بكلمات المحتوى بشكل أفضل من transformers — دراسة من Allen AI

النماذج الهجينة تتنبأ بشكل أفضل بالكلمات الدلالية من المحولات — بحث من Allen AI

اكتشف فريق Allen AI على أي رموز بالضبط تتفوق نماذج اللغة الهجينة على المحولات — وحيث يختفي هذا الميزة. قارن المؤلفون OLMo 3 (محول) و OLMo Hybrid تحت ظروف تدريب متطابقة لعزل التأثير المعماري البحت.

محول مقابل هجين

السؤال المركزي للبحث: ما الذي يتغير بالضبط في سلوك النموذج عندما يتم استبدال جزء من طبقات الانتباه بمكونات متكررة؟ تم تدريب كلا النموذجين على نفس البيانات — مقالات وصفحات ويكيبيديا وكتب وأوراق علمية وأكواد و HTML و LaTeX. تم قياس الفجوة في دالة الخسارة عند التنبؤ بالرمز التالي ليس بشكل متوسط، بل مقسمة حسب الفئات.

الفرق المعماري الأساسي:

• محول يصل إلى كل رمز سابق من خلال آلية الانتباه — بدقة، لكن بتكلفة حسابية عالية: تزداد التكلفة مع طول السياق.
• هجين يبدل بين طبقات الانتباه والمتكررة: تحتفظ الأخيرة بـ "لقطة" ثابتة من السجل بتكلفة حسابية ثابتة بغض النظر عن طول التسلسل.

المكون المتكرر قوي حيث يهم تتبع التغييرات في المعلومات. الانتباه لا يمكن استبداله حيث تحتاج إلى استدعاء بدقة رمز محدد من الماضي.

حيث يأخذ الهجين الزعامة

ظهر نمط واضح عبر جميع أنواع النصوص: يتنبأ النموذج الهجين بالكلمات الدلالية بدقة أكبر — الأسماء والأفعال والصفات. كانت فجوة الخسارة لصالحه على مثل هذه الرموز حوالي 0.04، بينما على الكلمات الوظيفية (الحروف والأدوات والعطف) كانت الفجوة أصغر بمرتين — 0.02. يبقى المحول قادراً على المنافسة حيث يكفي التقاط الأنماط النحوية السطحية.

لفهم طبيعة الميزة، قارن الباحثون بالإضافة إلى ذلك ثلاث هندسات معمارية على نماذج بـ 1 مليار معامل — محول وهجين ونموذج متكرر تماماً بدون طبقات انتباه. النتائج على الرموز الدلالية غير المكررة معجمياً:

• تفوق كل من النموذج الهجين والنموذج المتكرر تماماً على المحول.
• من بين الاثنين، احتل الهجين المرتبة الأولى.
• تخلف النموذج المتكرر بحتة بدون انتباه عن الاثنين على الأجزاء المكررة.

يشير هذا إلى أن الطبقات المتكررة بحد ذاتها توفر ميزة على الرموز الدلالية، بينما يملأ وجود طبقات الانتباه الضعف في النموذج المتكرر عند نسخ النص بدقة.

حيث تختفي الميزة

مطابقة الأقواس. الأقواس المغلقة — في الكود أو النص الرياضي — يتنبأ بها المحول والهجين بدقة متساوية تقريباً. هنا يكفي النظر للخلف عبر الانتباه والعثور على القوس المفتوح المطابق؛ المكون المتكرر لا يضيف فائدة.

N-جرامات المكررة. كلما كان الجزء الذي يعيد النموذج إنتاجه حرفياً من نص واجهه سابقاً أطول، كانت الفجوة لصالح الهجين أصغر. على التسلسلات الطويلة تميل إلى الصفر. تخسر النماذج المتكررة بحتة على مثل هذه التكرارات ضد الاثنين — إن استدعاء تسلسل محدد بدقة هو بالضبط ما يخدمه الانتباه.

"OLMo

Hybrid أقوى على الرموز الحاملة للمعنى — الأسماء والأفعال والصفات،" يلاحظ المؤلفون، مضيفين أن هذه الميزة تتقلص عند إعادة إنتاج النص المكرر.

ماذا يعني هذا

تخفي المقاييس المجمعة (دالة الخسارة الإجمالية) الاختلافات المعمارية: فقط تصفية حسب فئات الرموز تكشف بالضبط حيث يتفوق أحد الأساليب على الآخر. ينوي فريق Allen AI دمج هذه النتائج في التطوير الإضافي للهندسات المعمارية الهجينة — بتحسين مكونات محددة بدلاً من الأرقام المتوسطة.