DAGFormer يخطّط الروابط بين الطبقات ويخفض الحيرة (Perplexity) بنسبة 17–25%

قدّم باحثون DAGFormer، وهو نموذج لغوي قائم على المحوّل (Transformer) يخطّط فيه متنبّئ طوبولوجيا الروابطَ الإضافية بين الطبقات، ويُدرَّب هذا المتنبّئ مع الشبكة الأساسية. في أزواج OLMo-2 التي تتراوح أحجامها من 75M إلى 1B معامل، تنخفض الحيرة (Perplexity) على WikiText-2 بنسبة 17–25% مقارنة بالمحوّل التقليدي. أما النسخة ذات 1B معامل المدرَّبة على 5 مليارات رمز، فتتفوّق على النسخة التقليدية المدرَّبة على 10 مليارات. نُشر العمل في Hugging Face Daily Papers.

كيف يعمل التوجيه

في المحوّل المعتاد ترتبط الطبقات بوصلات متبقية (residual connections): تتلقى كل كتلة مخرجات الكتلة السابقة إضافةً إلى وصلة «تخطٍّ» (skip). يضيف DAGFormer إلى ذلك روابط مباشرة من الطبقات المبكرة إلى المتأخرة، فتتحول الشبكة إلى رسم بياني موجّه غير دوري. وقوة كل رابط ليست ثابتة، بل يحدّدها متنبّئ الطوبولوجيا بحسب رموز الإدخال، ولذلك قد يختلف المسار عبر الطبقات من نص إلى آخر.

الفارق الرئيسي عن البنى الحالية ذات التوجيه بين الطبقات (cross-layer routing) يكمن في نطاق التخطيط. فالنُّهُج السابقة تضبط روابط كل طبقة على حدة دون رؤية شاملة. أما DAGFormer فيخطّط توجيه النموذج بأكمله في تمريرة واحدة، ويرى المؤلفون أن هذا هو مصدر المكسب.

ماذا أظهرت القياسات

أُجريت المقارنة على أزواج OLMo-2 متطابقة، بالبيانات والميزانية نفسيها. وهذه أبرز الأرقام من الورقة:

• الحيرة على WikiText-2 أقل بنسبة 17–25% مقارنة بالمحوّل التقليدي (الأحجام من 75M إلى 1B)؛
• نموذج DAGFormer بحجم 1B المدرَّب على 5B رمز أفضل من النموذج التقليدي المدرَّب على 10B رمز؛
• أدنى حيرة بين أربعة خطوط أساس للتوجيه (routing baselines) عند 75M و300M و1B؛
• على 13 مهمة (المنطق السليم، والعلوم، والقراءة، والرياضيات) يرتفع متوسط الدقة بمقدار 2,0–2,5 نقطة عند 300M و1B؛
• بعد الضبط على التعليمات (instruction finetuning) تبلغ نسبة الفوز في AlpacaEval أمام النموذج التقليدي 63–70%، وهي أعلى من أي خط أساس للتوجيه؛
• عند التقليم البنيوي (structured pruning) يتراجع أداء DAGFormer أقل من غيره في خمس من ست إعدادات.

لعل أكثر النتائج عملية هنا هو الكفاءة في استخدام البيانات: نصف عدد الرموز تقريبًا مع جودة مماثلة أو أفضل. ويستحق التقليم الاهتمام أيضًا، لأنه ما تواجهه الفرق فعليًا عند ضغط النماذج للإنتاج. أما مكسب الدقة في المهام اللاحقة (downstream) فأكثر تواضعًا من مكسب الحيرة: نقطتان في المتوسط ملحوظتان لكنهما ليستا جذريتين. ويعتمد AlpacaEval على تقييم يجريه نموذج آخر بدور الحَكَم، لذا يُفضَّل قراءة نسبة 63–70% كإشارة قوية لا كحكم نهائي.

ما الذي ينبغي التحقق منه قبل التبنّي

ثمة ثلاثة أمور غير واضحة من الوصف. الأول كلفة المتنبّئ نفسه: كم يضيف من معاملات وذاكرة وزمن استجابة عند الاستدلال. الثاني النطاق: انتهت التجارب عند 1B، وانتقال النتيجة إلى 7B فما فوق يظل فرضية. أما الشق الثاني من هذه المسألة فهو هل ستبقى الأفضلية على خطوط الأساس حين تدخل السياقات الطويلة ومزيج الخبراء (Mixture of Experts) في المعادلة. والثالث هل يمكن دمج هذه الطوبولوجيا في نقاط حفظ (checkpoints) مدرَّبة مسبقًا، أم يجب تضمين البنية منذ البداية. لا يذكر النص شيئًا عن ذلك.

أما الفرق التي تدرّب نماذج صغيرة من الصفر وتعاني محدودية ميزانية الرموز، فيقدّم لها العمل فكرة ملموسة لإعادة التجربة: استبدال الروابط الثابتة بروابط مخطَّط لها، والمقارنة على مجموعة بياناتها الخاصة. وأما العاملون على أوزان مفتوحة جاهزة، فيكفيهم حاليًا انتظار نشر الشيفرة والتكرارات المستقلة للتجربة. وإذا ثبت المكسب عند 7B فما فوق، وظلت الكلفة الإضافية صغيرة، فسيصبح هذا النهج مرشحًا بارزًا ضمن مجموعة الأساليب المعمارية القياسية.