بحث Apple ML يكشف عن عدم الكفاءة في توجيه Mixture-of-Experts

نشر باحثون في قسم Apple ML Research عملهم Path-Constrained Mixture-of-Experts، مقترحين النظر إلى بنى MoE المتفرقة من خلال منظور "مسارات الخبراء" والكشف عن أن معظم المسارات المحتملة نظريًا في هذه النماذج تبقى غير مستخدمة.

ما هو مسار الخبير

في بنية Mixture-of-Experts المتفرقة، يتم توجيه كل رمز (token) عند كل طبقة بشكل مستقل إلى مجموعة فرعية صغيرة من N من الخبراء. يتخذ MoE القياسي هذا القرار رمز بعد رمز، دون مراعاة سجل الطبقات السابقة. مع L طبقات، المسارات الفريدة المحتملة نظريًا هي N^L: بالنسبة للنموذج الذي يحتوي على 8 خبراء و32 طبقة، يتجاوز هذا 10^28 متغيرًا.

يقترح قسم Apple ML Research النظر إلى هذا بطريقة مختلفة: "مسار الخبير" هو السلسلة الكاملة من اختيارات الخبير التي يقوم بها الرمز عبر جميع طبقات النموذج. يحول هذا المنظور تحليل MoE من مجموعة من القرارات المستقلة على مستوى الرمز إلى تحليل المسارات الكاملة.

الملاحظات الرئيسية للمؤلفين:

• على الرغم من وجود N^L مسارات محتملة، تتجمع الرموز في جزء صغير من المسارات
• المسارات الشهيرة ليست عشوائية — فهي تتوافق مع الوظائف اللغوية للرموز (جزء من الكلام، الدور النحوي، النوع الدلالي)
• تبقى الغالبية العظمى من المسارات المسموحة نظريًا غير مستكشفة أثناء التدريب
• يسمي المؤلفون هذا "عدم الكفاءة الإحصائية"

لماذا المسارات غير المستكشفة مشكلة؟

إذا لم يتم استخدام معظم المسارات، فإن الخبراء في تلك المسارات يتلقون تحديثات تدرج ضئيلة. يتم توزيع الحمل بشكل غير متساوٍ: بعض الخبراء محملون بشدة ويرون عددًا كبيرًا بشكل غير متناسب من الرموز، بينما يبقى آخرون خاملين وغير مدربين بشكل كافٍ.

يمتلك النموذج بشكل رسمي سعة ضخمة — مسارات N^L مضروبة في معاملات كل خبير — لكنه يستخدم عمليًا جزءًا صغيرًا فقط. عند التوسع إلى مئات الخبراء وعشرات الطبقات، يصبح هذا الفجوة بين الإمكانات النظرية والعملية ملحوظًا بشكل خاص.

التعقيد الإضافي: يجب على جهاز التوجيه الذي لا توجد عليه قيود صريحة اكتشاف "مسارات جيدة" بشكل مستقل في مساحة توليفية ضخمة، مما يجعل التدريب أقل استقرارًا وقابلية للتنبؤ.

كيف يعمل Path-Constrained MoE

يقترح قسم Apple ML Research عائلة من البنى التي تضيق بشكل صريح المساحة الفعالة للمسارات. في Path-Constrained MoE، يتخذ جهاز التوجيه قرارات بشأن اختيار الخبير التالي مع مراعاة المسار الذي سلكه الرمز بالفعل — الاحتفاظ به ضمن مجموعة فرعية مقبولة من الاستمرارات.

المبدأ الأساسي: إذا كانت المسارات المفيدة تشكل جزءًا صغيرًا من N^L وترتبط بالبنية اللغوية للرموز، فإن تحديد المساحة بشكل صريح لا يفقد القوة التعبيرية للنموذج، بل يغير ديناميكية التدريب بشكل أساسي. يتلقى كل خبير ضمن المجموعة الفرعية المقبولة تدفقًا أكثر انتظامًا من التحديثات. يتم تقليل "المناطق الميتة" — المسارات التي لن تُستخدم أبدًا تحت التصميم القياسي.

يجعل الارتباط بين المسارات النشطة والوظيفة اللغوية للرموز هذه القيود مبررة نظريًا: تقوم البنية بتشفير ما كان النموذج سيكتشفه تجريبيًا على أي حال.

ماذا يعني هذا

يطرح بحث قسم Apple ML Research سؤالًا منهجيًا حول تصميم بنى MoE المتفرقة: التوجيه المستقل القياسي ينتج مساحة توليفية ضخمة لكنها فارغة بشكل عملي. يمكن لنهج Path-Constrained جعل نماذج اللغة الكبيرة أكثر كفاءة في المعاملات، وأكثر استقرارًا في التدريب، وأكثر قابلية للتنبؤ — خاصة عند التوسع إلى مئات الخبراء وعشرات الطبقات.