كيف تعمل بنية Mixture-of-Experts: هندسة الشبكات العصبية الحديثة

اكتشف باحثو Apple عدم كفاءة في بنية Mixture-of-Experts، وهي أسلوب توجيه تعتمده الشبكات العصبية الحديثة لتوزيع البيانات بين وحدات متخصصة تُسمى الخبراء.

ما المقصود بمسار الخبراء

في بنية Mixture-of-Experts المتناثرة، يُوجَّه كل رمز (token) في كل طبقة وبشكل مستقل إلى مجموعة جزئية صغيرة من N خبيرًا. ويتخذ MoE القياسي هذا القرار لكل طبقة على حدة، دون مراعاة تاريخ الطبقات السابقة. ومع وجود L طبقة، يبلغ عدد المسارات الفريدة الممكنة نظريًا N^L: ففي نموذج يضم 8 خبراء و32 طبقة يتجاوز العدد 10^28 احتمالًا.

تقترح Apple ML Research النظر إلى المسألة من زاوية مختلفة: «مسار الخبراء» هو التسلسل الكامل لاختيارات الخبراء التي يمر بها الرمز عبر جميع طبقات النموذج. وبهذا ينتقل تحليل MoE من مجموعة قرارات مستقلة لكل طبقة إلى تحليل مسارات متكاملة.

أبرز ملاحظات الباحثين:

• رغم وجود N^L مسارًا ممكنًا، تتجمع الرموز في جزء صغير من المسارات
• المسارات الشائعة ليست عشوائية، بل تتوافق مع الوظائف اللغوية للرموز (نوع الكلمة، والدور النحوي، والنوع الدلالي)
• يبقى الغالبية العظمى من المسارات المسموحة نظريًا غير مستكشف أثناء التدريب
• يصف الباحثون ذلك بأنه «عدم كفاءة إحصائية»

لماذا تُعد المسارات غير المستكشفة مشكلة؟

إذا لم يُستخدم معظم المسارات، فإن الخبراء الواقعين عليها يتلقون عددًا ضئيلًا جدًا من تحديثات التدرج (gradient). ويتوزع الحمل بشكل غير متكافئ: فبعض الخبراء مثقل بالأعباء ويرى عددًا غير متناسب من الرموز، بينما يظل بعضهم الآخر خاملًا وضعيف التدريب.

يمتلك النموذج رسميًا سعة هائلة، هي N^L مسارًا مضروبًا في معاملات كل خبير، لكنه لا يستخدم فعليًا سوى جزء صغير منها. وعند التوسع إلى مئات الخبراء وعشرات الطبقات، تصبح هذه الفجوة بين الإمكانات النظرية والعملية أكثر وضوحًا.

وثمة تعقيد إضافي: فالموجِّه (router) الذي لا تحكمه قيود صريحة يضطر إلى اكتشاف المسارات «الجيدة» بنفسه داخل فضاء توافقي ضخم، ما يجعل التدريب أقل استقرارًا وأصعب توقعًا.

كيف تعمل بنية Path-Constrained MoE

تقترح Apple ML Research عائلة من البنى التي تضيّق صراحةً فضاء المسارات الفعّال. ففي Path-Constrained MoE، يختار الموجِّه الخبير التالي مع مراعاة المسار الذي قطعه الرمز بالفعل، فيُبقيه ضمن مجموعة جزئية مسموحة من الامتدادات.

والمبدأ الأساسي أنه إذا كانت المسارات المفيدة تشكّل جزءًا صغيرًا من N^L وترتبط بالبنية اللغوية للرموز، فإن التقييد الصريح للفضاء لا يُفقد النموذج قوته التعبيرية، لكنه يغيّر ديناميكيات التدريب جذريًا. إذ يتلقى كل خبير ضمن المجموعة الجزئية المسموحة تدفقًا أكثر انتظامًا من التحديثات. وتتقلص «المناطق الميتة»، أي المسارات التي لا تُستخدم أبدًا في التصميم القياسي.

ويمنح ارتباط المسارات النشطة بالوظيفة اللغوية للرموز هذه القيود مبررًا نظريًا: فالبنية تُرمِّز ما كان النموذج سيكتشفه تجريبيًا على أي حال.

ماذا يعني ذلك

يطرح عمل Apple ML Research سؤالًا منهجيًا حول تصميم بنى MoE المتناثرة: فالتوجيه المستقل القياسي يولّد فضاءً توافقيًا ضخمًا لكنه فارغ عمليًا. ويمكن لنهج Path-Constrained أن يجعل النماذج اللغوية الكبيرة أكثر كفاءة في استخدام المعاملات، وأكثر استقرارًا في التدريب، وأسهل توقعًا، خصوصًا عند التوسع إلى مئات الخبراء وعشرات الطبقات.

ما هي Mixture-of-Experts في الشبكات العصبية؟

هي بنية يُوجَّه فيها كل رمز (عنصر من النص) إلى مجموعة جزئية من الخبراء المتخصصين بدلًا من معالجته بجميع معاملات النموذج، ما يوفّر في الحوسبة.

لماذا تُعد دراسة Apple مهمة؟

تبيّن أن معظم المسارات الممكنة نظريًا في بنى MoE يبقى غير مستخدم، ما يعني استغلالًا غير كفء لإمكانات هذه النماذج.