خليط الخبراء (Mixture of Experts - MoE)
خليط الخبراء (MoE) هي بنية شبكة عصبية حيث تعمل آلية توجيه متعلمة على تفعيل مجموعة صغيرة فقط من الشبكات الفرعية المتخصصة (الخبراء) لكل رمز إدخال، مما يسمح بأعداد معاملات كبيرة دون تكلفة حساب متناسبة لكل رمز.
خليط الخبراء (MoE) هي عملية تصميم شبكة عصبية حيث يحتوي النموذج على مجموعة كبيرة من الشبكات الفرعية المتوازية تسمى خبراء، وآلية توجيه أو توجيه خفيفة الوزن تختار فقط عدداً صغيراً منهم—عادة واحد أو اثنان—لمعالجة كل رمز إدخال. لأن جزء صغير فقط من إجمالي معاملات النموذج نشط أثناء أي تمرير أمامي معين، يمكن لنموذج MoE أن يقوم بتشفير معرفة أكثر بكثير من نموذج كثيف بنفس الحساب. ينشأ المفهوم من عمل Jacobs وآخرين في 1991، وتم تكييفه للمحولات واسعة النطاق في ورقة Google's Sparsely-Gated MoE (2017) و Switch Transformer (2021).
في طبقة MoE transformer القياسية، يتم استبدال كل كتلة شبكة تغذية أمامية بمجموعة من شبكات تغذية أمامية خبير N. تفحص شبكة الموجه—طبقة خطية صغيرة—تمثيل كل رمز وتخرج درجات على جميع الخبراء؛ يتم تحديد أفضل k خبير (عادة k=1 أو k=2)، يتم حساب مخرجاتهم، ويتم إرجاع مجموع موزون. تعاقب شروط الخسارة الإضافية التوجيه غير المتساوي لمنع جميع الرموز من الانهيار على نفس الخبير الشهير، وهي مرضية تسمى انهيار الخبير. أثناء التدريب، تتدفق التدرجات فقط من خلال الخبراء المحددين لكل رمز، لذلك تكلفة تحديث المعاملات الفعالة تتسع مع k بدلاً من N. التحديات الهندسية الرئيسية هي موازنة الحمل عبر الخبراء والاتصال من الكل إلى الجميع المطلوب عندما يقيم الخبراء على مسرّعات مختلفة في التدريب الموزع.
أهمية MoE هي فصل قدرة النموذج عن تكلفة الحساب لكل رمز. يجب على نموذج كثيف أن يشرك جميع معاملاته لكل رمز؛ نموذج MoE يوجه أنواع إدخال مختلفة إلى متخصصين مختلفين، مما يحقق كلاً من الحجم والكفاءة. توضيح مفيد: Mistral's Mixtral 8x7B له تقريباً 47 مليار معامل كلي لكن ينشط تقريباً 13 مليار لكل رمز، مما يسلم أداء قابلة للمقارنة مع نماذج كثيفة ضعف حجمه بنفس حساب الاستدلال. هذا المقايضة جذابة بشكل خاص على مقياس الخدمة، حيث زمن الكمون لكل رمز ونطاق الذاكرة هما محركات التكلفة الأساسية.
بحلول 2026، أصبح MoE بنية إنتاج رئيسية عبر عائلات النموذج. جعلت Mixtral 8x7B و 8x22B من Mistral (المُطلقة في أواخر 2023 والأوائل 2024) نموذج مفتوح الوزن MoE شهيراً. يُقال أن Gemini 1.5 Pro و Flash من Google تستخدم MoE، والتقارير الموثوقة تشير إلى أن GPT-4 أيضاً يستخدم تصميم mixture-of-experts. نماذج Meta's LLaMA 4 Scout و Maverick (المُطلقة في أوائل 2026) هي معماريات MoE بـ 17 مليار معاملات نشطة من عدد إجمالي أكبر بكثير. تمدد المتغيرات مثل mixture-of-depths—التي تتخطى طبقات transformer بالكامل للرموز السهلة—مبدأ الحساب الشرطي إلى ما وراء كتلة التغذية الأمامية فقط.