KAIST تستغني عن المعايرة في فك ترميز MoE وتُسرّع الكتل حتى 2,69 ضعف مقارنةً بـ vLLM

يصطدم فك ترميز Mixture-of-Experts على الدفعات الصغيرة بحاجز الذاكرة لا بحاجز الحوسبة: ففي كل توكن يجب تحميل أوزان الخبراء الذين يختارهم الموجِّه. أظهر الباحثان جيونهيون كيم وسونغ جو هوانغ من KAIST AI أن أسلوبًا شائعًا للتسريع، هو انتقاء القنوات المهمة داخل الخبير، يمكن تنفيذه دون بيانات معايرة. ويحافظ القارئ (reader) الذي طوّراه، والمبني على أوزان النموذج وحدها، على 98,1% من دقة النموذج الكامل مع قراءة 17,8% من أوزان الخبراء. وتعمل كتل MoE على نوى Triton أسرع بـ 1,60–1,90 مرة من vLLM المحسَّن على batch one.

العتبة تعد بميزانية لكنها لا تلتزم بها

فكرة انتقاء القنوات بسيطة. ففي كل خبير، لا تؤثر معظم القنوات الوسيطة تقريبًا في توكن بعينه. يتنبأ المُنتقي بالقنوات المهمة ويقرأ من الذاكرة أوزانها فقط. وعادةً تُؤخذ القنوات التي تتجاوز درجتها عتبة معينة، وتُضبط هذه العتبة على عينة غير متصلة.

يبيّن المؤلفان أن لهذا المخطط نقطتي ضعف. أولًا، لا تثبّت العتبة حجم القراءة: فعدد القنوات التي تجتاز الحد يتغير من مُدخل إلى آخر. فقد قرأ Prox بعتبات معايَرة لميزانية 18% ما متوسطه 12,9% فعليًا على اختبارات الباحثين. والمهندس الذي يخطط للزمن الكامن والإنتاجية يحصل بذلك على رقم غير الذي بنى عليه حساباته.

ثانيًا، المكسب في الدقة عند ميزانية معينة غير مضمون أيضًا.

top-k بدل العتبة

البديل لا يحتاج إلى بيانات أصلًا: لكل توكن تُبقى k قناة ذات أعلى درجة. وتكون ميزانية القراءة معروفة مسبقًا وتطابق المعلَن. وعند المقارنة على الدرجات نفسها، تساوت نسخة top-k من المُنتقي مع نسخة العتبة أو تفوقت عليها في 40 من أصل 43 حالة عند ميزانيتي 13% و18%. وفي مهام التوليد تفوقت في جميع المقارنات الـ 23.

وهناك أثر نوعي أيضًا. فقد دفعت العتبات المعايَرة Gemma 4 إلى الانهيار في حلقات تكرار، بينما تتجنب نسخ top-k ذلك. ويخلص المؤلفان إلى أن معايرة العتبة لا تحقق أيًّا من الغايتين اللتين تُجرى من أجلهما: لا ميزانية قراءة معروفة، ولا زيادة مستقرة في الدقة عند تلك الميزانية.

قارئ قائم على الأوزان وحدها

الجزء الثاني من العمل هو قارئ خاص لا يحتاج إلى بيانات معايرة ولا إلى تدريب إضافي. ويتكوّن من خطوتين:

• تُستبعد القنوات استبعادًا أوليًا اعتمادًا على مخطط ثلاثي (ternary sketch) للأوزان؛
• تُعوَّض القنوات المتجاوَزة بتحويل منخفض الرتبة يُبنى هو الآخر من أوزان النموذج.

الأرقام الرئيسية لثلاثة نماذج MoE بعد التدريب:

• الدقة: 98,1% من دقة النموذج الكامل؛
• حجم قراءة أوزان الخبراء المُوجَّهين: 17,8%؛
• سرعة كتل MoE على نوى Triton على batch one: أعلى بـ 1,60–1,90 مرة من vLLM المحسَّن؛
• على الدفعات الكبيرة يصل التسريع إلى 2,69 مرة على النماذج الثلاثة نفسها؛
• قرأ Prox فعليًا 12,9% عند المعايرة لميزانية 18%؛
• top-k مقابل العتبة: 40 من 43 مقارنة عند ميزانيتي 13% و18%، و23 من 23 في التوليد.

من سيستفيد من هذا؟

أكبر المستفيدين هم من يشغّلون نماذج MoE الكبيرة على عتاد ذي ذاكرة محدودة النطاق. فقد وصف أحد المؤلفين، في نقاش على Hugging Face، مشكلة تقليم التنشيطات (activation pruning) صراحةً بأنها حادة على وحدات GPU ذات الذاكرة البطيئة مثل DGX Spark. فهناك يحدد عرض نطاق الذاكرة، لا FLOPS، سرعة توليد التوكنات. وبحسب قوله، سيأتي نمط التشتت التالي تحديدًا من تشتت التنشيطات عند الخدمة على أجهزة ذات حد صارم لعرض النطاق.

والميزة العملية لغياب المعايرة أن الطريقة تنطبق على أي نموذج open-weights جديد فور صدوره. فلا حاجة إلى البحث عن عينة ممثِّلة، ولا خطر من أن تنهار عملية التوليد في مجال ما بسبب عتبة ضُبطت على مجال آخر، كما حدث مع Gemma 4. كما أن ميزانية القراءة الثابتة تبسّط الحسابات: إذ تتحول نسبة 17,8% المقررة إلى توفير متوقَّع في حركة الذاكرة وفي الزمن الكامن.

نُشرت الشيفرة في مستودع calibration-free-moe على GitHub. وللفرق التي تكتب نوى Triton بنفسها أو تحسّن الاستدلال المحلي، هي نقطة انطلاق جاهزة. ويستحق الأمر اختبارها على نماذجكم الخاصة، وخصوصًا في السيناريوهات التفاعلية على batch one، حيث تكون قيود الذاكرة في أشدّها.