Nestor: التناثر المتداخل في الانتباه يتفوق على MoE عند تساوي التكلفة

أصبح مزيج الخبراء (Mixture-of-experts) منذ زمن طويل الأساس القياسي للنماذج اللغوية الكبيرة: ففي كل تمرير أمامي لا يعمل سوى جزء صغير من الأوزان. ويقترح فريق من جامعة هونغ كونغ وجامعة Berkeley إضافة طبقة ثانية من هذا التوفير. فقد وصف Tianzhe Chu وDruv Pai وYi Ma بنية Nestor، حيث تُدمج الحوسبة الشرطية في مشغّل الانتباه وتتداخل مع تناثر MoE. وبحسب بيانات الباحثين، يحقق Nestor عند تساوي الحوسبة وتساوي التناثر جودة أفضل في التدريب المسبق للنموذج اللغوي مقارنةً بمحوّل MoE الكلاسيكي. صدرت الورقة على arXiv في 22 أكتوبر 2026 (2610.31818)، ونُشر الكود ونقاط الفحص (checkpoints).

أين يختبئ التناثر الثاني في المحوّل

في محوّل MoE المعتاد، يوجد التناثر في موضع واحد فقط. يعمّم مشغّل MoE الإدراك الحسي متعدد الطبقات (MLP) الموجود في المحوّل الكلاسيكي: يختار الموجِّه (router) الخبراء الذين سيعالجون الرمز (token)، وتبقى بقية الأوزان معطلة في ذلك التمرير. أما كتلة الانتباه فتظل كثيفة.

يسلك مؤلفو Nestor مسارًا متناظرًا. فهم يقدّمون آلية حوسبة شرطية تعمّم مشغّل الانتباه نفسه، لا MLP. والنتيجة محوران مستقلان للتوفير، يتراكبان هرميًا أي يتداخل أحدهما في الآخر، ومن هنا جاء الاسم. وهكذا يحصل المحوّل الواحد على التناثر في جزء الانتباه (attention) وفي جزء MoE معًا، لا في أحدهما فقط.

بُنيت المقارنة بعناية: تُقارَن النماذج عند تساوي الحوسبة وتساوي التناثر. وهذا يسقط أبسط اعتراض ممكن، وهو أن المكسب جاء من FLOPs إضافية أو من عدد أكبر من المعاملات النشطة.

مواصلة التدريب على سياق طويل ومجالات جديدة

يتعلق الجزء الأكثر عملية في البحث بـ continual pretraining، أي مواصلة التدريب المسبق لنموذج جاهز. وهذا أمر روتيني للمختبرات والشركات: إذ يجري بانتظام تمديد النموذج الأساسي إلى سياق أطول أو مواصلة تدريبه على مجال معرفي جديد.

وبحسب نتائج المؤلفين، يتعامل Nestor مع ذلك بشكل أفضل من نماذج MoE المعتادة:

• يتكيّف مع السياق الأطول بكفاءة أعلى؛
• ينتقل إلى المجالات الجديدة بكفاءة أعلى؛
• ينسى المجالات القديمة بدرجة أقل.

والنقطة الأخيرة مهمة بحد ذاتها. فالنسيان الكارثي يظل الثمن الرئيسي لمواصلة التدريب، والبنية التي تخفّض هذا الثمن دون حيل منفصلة مثل مخازن الإعادة (replay buffers) تهمّ كل من يقود النماذج عبر عدة مراحل تدريب.

كما اختبر المؤلفون التوسّع. إذ تستمر المزايا مع زيادة حجم النموذج وحجم مجموعة البيانات وطول السياق. وهذا هو الامتحان الرئيسي للأفكار المعمارية: فكثير من التحسينات تبدو جيدة على النماذج الصغيرة ثم تختفي على الكبيرة.

ما المعروف عن العمل

• اسم البنية: Nestor (nested sparsity).
• المؤلفون: Tianzhe Chu وDruv Pai وYi Ma؛ والانتماء المؤسسي على صفحة الورقة: The University of Hong Kong.
• الفكرة: آلية حوسبة شرطية تعمّم مشغّل الانتباه، على غرار ما يفعله MoE مع MLP.
• العلاقة مع MoE: يتداخل التناثران هرميًا أحدهما في الآخر.
• التدريب المسبق: تفوق على محوّل MoE المعتاد عند تساوي الحوسبة وتساوي التناثر.
• Continual pretraining: تكيّف أفضل مع السياق الطويل، وانتقال أكثر كفاءة إلى المجالات الجديدة، ونسيان أقل للمجالات القديمة.
• التوسّع: يستمر الأثر مع زيادة حجم النموذج والبيانات والسياق.
• المواد المنشورة: الكود ونقاط الفحص في مستودع GitHub ‏Ma-Lab-Berkeley/Nestor، وتوجد صفحة للمشروع على ma-lab-berkeley.github.io/Nestor.

ماذا يفعل الممارسون بهذا العمل

حتى الآن، هذه ورقة أكاديمية لم تُطبَّق في نماذج صناعية، ولها على صفحة Hugging Face Daily Papers صوت واحد فقط. لكن المادة مفتوحة، ما يعني أنه يمكن اختبار الفكرة دون التفاوض مع المؤلفين. وللفرق التي تدرّب نماذج MoE خاصة بها، من المنطقي أخذ نقاط الفحص والكود ومقارنة Nestor ببنيتها الأساسية في مهام تمديد السياق والتكيّف مع المجالات: فهناك بالتحديد أُعلن عن أكبر أثر.

وأمام فرق البنية التحتية سؤال مستقل: كيف سيتلاءم محور التناثر الثاني مع النوى (kernels) الفعلية والتدريب الموزّع. لا يضمن التفوق عند تساوي الحوسبة من الناحية النظرية تفوقًا في الزمن الفعلي على العنقود الحاسوبي، ما دامت لا توجد تطبيقات محسّنة لتوجيه الانتباه. وإذا ظهرت مثل هذه التطبيقات، فلن يبقى MoE مرادفًا لـ MLP المتناثر، وسيتّسع مجال التجارب المعمارية بشكل ملحوظ.