BorisovAI تختبر MoE على RTX 4090 وتُظهر كيف تُفسد البربليكسيتي تقييم النماذج اللغوية الكبيرة

نشرت BorisovAI تحليلاً لـ 22 تجربة على بنية MoE تُوصَل فيها الخبراء الجدد فوق نموذج لغوي مجمّد على غرار الإضافات (plugins). وعلى بطاقة RTX 4090 واحدة، بدت الصورة الهندسية شبه مثالية: انعدام التدهور في المهارات القديمة، ودقة في التوجيه، وانخفاض ملحوظ في البربليكسيتي. لكن عند اختبار النظام على معيار رياضي، تبيّن أن المقياس الجميل قد يقود إلى اتجاه مختلف تماماً.

كيف صُمّمت البنية

جمّد الباحث النموذج الأساسي بالكامل، وأضاف إلى كل طبقة MLP خبيراً صغيراً قابلاً للتدريب، وفوقها موجّهاً (router) يضم نحو 37 ألف معامل. والمنطق بسيط: لا يُمَسّ الـ backbone، ويُدرَّب المهارة الجديدة على حدة، ثم يُعاد تدريب الموجّه وحده ليرسل الرموز (tokens) المناسبة إلى الخبير المناسب.

واستغرق تدريب نطاق جديد واحد نحو نصف ساعة: قرابة 15 دقيقة للخبير المعزول، و15 دقيقة أخرى لدمجه في النظام العام. وعلى ثلاثة أحجام من النماذج، بدت البنية مقنعة جداً ومن دون تنازلات تُذكر:

• GPT-2 124M مع 4 نطاقات خفّضت البربليكسيتي بنسبة 33,4%
• Pythia-410M مع 6 نطاقات خفّضت البربليكسيتي بنسبة 34,3%
• Pythia-1B مع 8 نطاقات خفّضت البربليكسيتي بنسبة 31,2%
• بلغت دقة التوجيه 96%، وبقي تدهور المهارات القديمة عند 0,000%

واختبر المؤلف إضافة إلى ذلك عدة أساليب شائعة يُنصح بها كثيراً مع MoE. فقد جعلت عقوبات موازنة الحمل النتيجة أسوأ بنسبة 11–27%، بينما أدى التدريب المشترك للخبراء والموجّه إلى انهيار الجودة. وكان الأفضل هو الموازنة بلا خسارة إضافية (loss-free balancing): فقد أبقت جميع الخبراء «نشطين» من دون دالة خسارة (loss) إضافية مستقلة.

وفي هذه المرحلة بدا كل شيء حجة قوية لصالح النماذج اللغوية الكبيرة المعيارية (modular)، التي يمكن توصيل قدرات جديدة بها من دون إعادة تدريب كاملة.

أين انهار المقياس

بدأت المشكلات عند نقل البنية إلى Qwen 2.5 3B ومحاولة إضافة خبير رياضيات. ومرة أخرى بدت المقاييس الداخلية ممتازة: انخفضت البربليكسيتي على النصوص الرياضية بنسبة 23,9%، وتضاعفت الفجوة بين النطاقات بمقدار 64,9 مرة، واختار الموجّه الخبير المطلوب دون أخطاء تقريباً. لكن على GSM8K، الذي يختبر تحديداً القدرة على حل المسائل النصية المدرسية، هبط أداء النموذج من 74,4% إلى 65,8%.

«النموذج الذي يتحدث لغة الرياضيات لا يعرف إطلاقاً كيف يحل المسائل».

هذا هو الاستنتاج المحوري في العمل كله. فالخبير الذي دُرّب على الكتب الدراسية والمقالات أتقن بالفعل إحصاءات اللغة الرياضية: أين تقع الصيغ عادةً، وأي المصطلحات تأتي متجاورة، وكيف يبدو النص «الصحيح» في هذا المجال. لكن GSM8K لا يتطلب التعرّف على الأسلوب، بل سلسلة من خطوات الاستدلال. ولذلك لم يقِس انخفاض البربليكسيتي هنا تحسناً حقيقياً في التفكير، بل مجرد نمذجة أفضل لنصوص النطاق.

وأعاد الباحث فحص بدائل أخرى، منها إلغاء تجميد الطبقات العليا والتدريب المشترك والبنية ثنائية المرحلة، لكن جميع هذه الخيارات بقيت عند المستوى نفسه تقريباً، أي نحو ناقص 8,4–8,6 نقطة مئوية.

ما الذي نجح بصورة أفضل

حدث التحول العملي بعد التقطير الذاتي. فبدلاً من النصوص الرياضية الخام، بدأ تدريب الخبير على حلول خطوة بخطوة كان النموذج الأساسي نفسه قد توصل إليها بشكل صحيح. ولهذا الغرض أُخذت 750 مسألة من GSM8K، حلّ النموذج منها 638، وجُمعت من هذه الحلول مجموعة بيانات من 119 ألف رمز (token).

وهذا أقل بـ 33 مرة من مدونة الـ 4 ملايين رمز من الكتب الدراسية والمقالات، لكن الصيغة تبيّن أنها أقرب بكثير إلى الاستدلال (inference) الفعلي. وجاءت النتيجة عكس التوقعات. فبعد هذا التدريب ارتفعت نتيجة GSM8K إلى 75,5%: أي أعلى من النموذج الأساسي بـ 1,1 نقطة مئوية، وأفضل بـ 9,7 نقطة من الصيغة المدرَّبة على النص الرياضي الخام. وفي المقابل ساءت البربليكسيتي بنسبة 17,8%.

كما اتضح أن حتى تغليف البيانات يؤثر في النتيجة: فصيغة «سؤال/جواب» أعطت 2–3 نقاط إضافية مقارنة بالصيغة الأكاديمية «مسألة/حل». وبعبارة أخرى، من الأجدى تدريب الخبير وفق شكل الاستخدام المستقبلي، لا وفق مدونة «عالية الجودة» بالمعنى المجرد.

أما محاولة تحويل هذا النهج إلى حلقة من التحسين الذاتي فلم تنجح. فقد أشارت التشغيلات الأولى إلى ارتفاع من 75,5% إلى 76,0%، لكن بعد تثبيت seed وتوسيع العيّنة تبيّن أن الأثر ضجيج إحصائي. ففي البدء البارد وصل الخبير الجديد سريعاً إلى مرحلة استقرار (plateau)، وفي البدء الدافئ تراجعت الجودة حتى، لأن عدداً كبيراً من المسائل نفسها تكرر بين الدورات فأفرط الخبير في التكيّف (overfitting). وفشل كذلك تنعيم التسميات (label smoothing)، إذ خسرت الرياضيات معه نحو 9 نقاط أخرى.

ماذا يعني هذا

يخرج مطورو النماذج اللغوية الكبيرة من هذا العمل باستنتاجين عمليين. أولاً، يمكن للبنية المعيارية ذات الخبراء القابلين للتوصيل أن تضيف مهارات نطاقية بالفعل من دون النسيان الكارثي. ثانياً، من الخطر تقييم هذه الأنظمة بالبربليكسيتي: فقد تتحسن في اللحظة ذاتها التي يبدأ فيها النموذج بالاستدلال على نحو أسوأ. وإذا كانت المهمة مرتبطة بالمنطق أو البرمجة أو الرياضيات، فينبغي أن تكون المعايير السلوكية (behavioral benchmarks) هي المقياس الرئيسي، لا المقاييس اللغوية الجميلة وحدها.