LRMoE تقلّص التمرير الخلفي في MoE وتسرّع التدريب بنسبة 21–45%

اقترح فريق من الباحثين الأكاديميين نظام LRMoE لتدريب نماذج MoE على عقد لا تكفي فيها ذاكرة GPU. MoE (Mixture-of-Experts، أي «مزيج الخبراء») بنية تتألف فيها الطبقة من عشرات أو مئات الشبكات الفرعية الصغيرة التي تسمى الخبراء، ويفعّل الموجِّه (router) لكل توكن بعضًا منها فقط. ويطلق المؤلفون على كل اختيار من هذا النوع، «توكن — خبير»، اسم «زوج». والرقم الرئيسي في الدراسة: على نموذجي Qwen3-30B-A3B وGLM4.5-106B-A12B انخفض الزمن التراكمي لتدريب طبقات MoE حتى بلوغ قيمة محددة مسبقًا لدالة الخسارة (loss) بنسبة 21,2–44,8% مقارنة بنظام SYMI. وSYMI نظام سابق يفصل تخزين معلمات النموذج عن تخزين حالات المُحسِّن (optimizer)، ليوزّع الخبراء بمرونة أكبر.

لماذا لا تعالج نسخ الخبراء اختلال توزيع الحمل

تُوزَّع الخبراء على وحدات GPU، وتنتقل التوكنات إلى البطاقات المطلوبة عبر all-to-all، أي تبادل «كل طرف مع كل طرف». ويتلقى الخبراء الأكثر شعبية توكنات أكثر، فتتحول وحدات GPU الخاصة بهم إلى عنق زجاجة، بينما تنتظر البقية. وتسير الخطوة المتزامنة بسرعة أبطأ مشارك وأكثرها حملًا.

والحلان المعتادان لذلك هما إعادة ترتيب الخبراء أو عمل نسخ من الأكثر شعبية. وهكذا تعمل أنظمة FasterMoE وFlexMoE وSmartMoE وLAER-MoE وUltraEP وTopoEP. لكن للنسخ ثمنًا:

• تشغل النسخة المكررة ذاكرة تلزم لمخازن التوكنات والتنشيطات المحفوظة؛
• يجب مزامنة النسخ وجمع التدرجات (gradients)؛
• لا ينقص حجم العمل الكلي، بل ينتقل فحسب إلى بطاقات أخرى.

ويبيّن المؤلفون أنه عند وجود حد صارم لذاكرة GPU، قد يبقى الحمل الإجمالي حتى مع التوزيع المتساوي تمامًا أعلى مما تستطيع الذاكرة والشبكة تلبيته. فعدم التساوي والحمل الزائد في مجمله مشكلتان مختلفتان، والموازنة تعالج الأولى فقط.

ماذا يفعل LRMoE: تمرير أمامي كامل وتمرير خلفي مقلَّص

الفكرة أن يُعامَل حمل التمرير الخلفي بوصفه قيمة قابلة للضبط، لا نتيجة حتمية للتوجيه. ويجري العمل على مرحلتين.

• يبقى التمرير الأمامي كاملًا. تُحسب جميع أزواج التوكن–الخبير كالمعتاد، لأنه لا توجد في هذه المرحلة تدرجات بعد، ولا وسيلة لتقدير قيمة الأزواج.
• حصص تُحدَّد قبل الحساب. يرى المتحكّم (controller) عدد التوكنات التي وصلت إلى كل خبير، ويقرر، مع مراعاة الذاكرة والشبكة، كم زوجًا من أزواج كل خبير يُبقي عليه في التمرير الخلفي. وهو نفسه يخطط لتوزيع النسخ المكررة. وتُثبَّت الحصة طوال استدعاء الطبقة.
• الانتقاء وفق مقياس LRM. عندما تصل التدرجات إلى الطبقة، تُقدَّر لكل زوج مساهمته في تحديث أوزان الخبير. ومساهمة الزوج هي الجداء الخارجي للتدرج الوارد والمدخل المحفوظ للإسقاط (projection). لذلك يتحلل مربع معياره إلى حاصل ضرب ثلاثة عوامل: مربع وزن التوجيه، ومربع معيار التدرج، ومربع معيار المدخل. ولا حاجة لحساب مصفوفات التدرج الكاملة لهذا الغرض. وتبقى ضمن الحصة الأزواج ذات الدرجة الأعلى.
• إعادة التوزيع. تُوزَّع الأزواج المتبقية بخوارزمية أعداد صحيحة على النسخ المتاحة لخبيرها. والهدف تقليل ذروة الحمل على وحدة GPU واحدة. ولا تظهر نسخ جديدة أثناء التمرير الخلفي.
• الضغط الفعلي. تُجمَّع صفوف التدرجات والتنشيطات المتبقية في كتل كثيفة بحسب المستلِم والخبير. فيصبح تبادل all-to-all أكثر إحكامًا، وتجري عمليات ضرب المصفوفات بصيغة grouped GEMM بحجم متغير ودون حشو بالأصفار. ثم تُعاد النتيجة إلى التوزيع الأصلي.

تفصيل مهم: مجرد إخفاء الصفوف الزائدة (masking) داخل تنسورات كاملة الحجم لن يفيد بشيء، لا في الزمن ولا في الذاكرة. ولا يتحقق المكسب إلا حين تتقلص الأحجام الفعلية للتبادل وللمصفوفات.

ماذا أظهرت التجارب وأين الإشكال

إلى جانب الرقم الرئيسي 21,2–44,8%، أجرى المؤلفون على حدة إعادة تشغيل على GPU، وحصلوا على انخفاض بنسبة 57,8% في إجمالي الذاكرة المخصصة لتوزيع الخبراء والنسخ المكررة ومخازن التوكنات، مقارنة بالملكية الثابتة للخبراء. وهذا قياس للذاكرة، لا لزمن التدريب.

والإشكال أن التمرير الخلفي يصبح تقريبيًا: يُهمَل ببساطة جزء من مساهمات التدرج. ومقياس LRM تقدير على مستوى إسقاط واحد، ولا يقدّم ضمانات للتقارب. لذلك يقارن المؤلفون الأنظمة بحسب الزمن حتى بلوغ قيمة loss ثابتة، لا بسرعة الخطوة الواحدة: فلا يُحتسب التسارع إلا إذا بلغ النموذج الجودة نفسها. وتدخل في القياسات تكاليف احتساب الدرجات والتعبئة والتوجيه.

والخلاصة للمهندسين كالتالي. إذا كان تدريب MoE يصطدم بذاكرة GPU والشبكة، ولم يعد هناك مجال لإضافة نسخ، فمن المجدي النظر في تقليص عمل التمرير الخلفي نفسه، لا في إعادة توزيعه فقط. والتحفظات مهمة أيضًا. فقد جاءت النتائج على نموذجين وقورنت بنظام أساسي واحد، لذا يجب التحقق بصورة مستقلة من إمكانية تعميمها على بنى أخرى وعلى عمليات تدريب أطول. وقد يظهر ثمن التدرجات التقريبية عند أهداف جودة أشد صرامة.