Moonshot AI تفتح شيفرة MoonEP المصدرية: مكتبة لتدريب نموذج MoE «Kimi K3»

فتحت Moonshot AI في 29 يوليو 2026 الشيفرة المصدرية لمكتبة MoonEP بترخيص MIT، وهي مكتبة توازي خبراتي (Expert Parallelism) للتدريب الموزّع لنماذج MoE. تمنح MoonEP كل رتبة حوسبة بالضبط S × K رمزاً مهما بلغ انحياز التوجيه، وكانت إحدى التقنيات التي سرّعت توسعة نموذج Kimi K3 بمقدار 2.5 مرة.

لماذا نحتاج إلى التوازي الخبراتي

في نماذج MoE يرسل الموجّه (router) كل رمز إلى أفضل عدة خبراء (top-K)، وهؤلاء الخبراء موزّعون فعلياً على رتب GPU مختلفة. تكمن المشكلة في أن الموجّهات نادراً ما تكون متوازنة: يتلقى بعض الخبراء رموزاً أكثر بأضعاف مما يتلقاه غيرهم. ويقيس مستودع MoonEP هذا الانحياز بالمقياس maxvio = max_e (T_e / T̄) − 1، حيث يعني الصفر توازناً مثالياً.

وتكاليف اختلال التوازن بنيوية وليست عرضية. فزمن العملية الجماعية يحدده أبطأ مشارك فيها، ولذلك تحدد الرتبة «الساخنة» زمن التكرار بأكمله. والأسوأ أن عدد الرموز على الرتبة يتغيّر في كل خطوة، فتؤدي الأشكال الديناميكية إلى تجزئة ذاكرة GPU وتفرض مزامنة مع المضيف (host) في كل طبقة.

كيف تعمل MoonEP

تفرض MoonEP ثابتاً صارماً: تتلقى كل رتبة بالضبط S × K رمزاً، حيث S هي الرموز الداخلة لكل رتبة وK هو عدد خبراء top-K لكل رمز. وتحقق المكتبة ذلك بجدولة عدد صغير من الخبراء الزائدين (المكرَّرين) أثناء التشغيل مباشرة من مخرجات الموجّه الحالية؛ وتُجلب هذه النسخ مسبقاً (prefetch) قبل الحساب الرئيسي، ثم تُجمَّع تدرجاتها في المسار الخلفي وتُعاد إلى الرتب «الأصلية». ويقوم التصميم على ثلاث خصائص: توازن مثالي، وجدولة أثناء التشغيل بعبء إضافي يكاد يكون معدوماً، ونسخ صفري (zero-copy) مع أشكال ثابتة للمخزن المؤقت.

«تتلقى كل رتبة بالضبط S × K رمزاً، مهما بلغ انحياز التوجيه»، كما جاء في وصف مستودع

MoonEP.

أبرز حقائق الإصدار:

• التاريخ: 29 يوليو 2026، ضمن فعالية Kimi K3 Open Day
• الترخيص: MIT
• فُتحت مع MoonEP كل من AgentEnv و(سابقاً) FlashKDA، أي ثلاث قواعد شيفرة للبنية التحتية
• Kimi K3 نموذج MoE بـ 2.8 تريليون معامل، مع رؤية أصلية (native vision) وسياق يبلغ 1 مليون رمز
• كُتب المجدوِل (scheduler) بلغة CUTLASS CuTe DSL، ويثبّت الملف setup.py الإصدار nvidia-cutlass-dsl==4.4.2
• في التدريب تُضبط القيمة B = E/R، أما في الاستدلال فيوصي README بالقيمة B = 3–4

لماذا يهم هذا المهندسين

تزيل MoonEP أبرز عائق أمام التدريب الموزّع لنماذج MoE، وهو عدم تزامن الرتب بسبب التوجيه غير المتكافئ. فبفضل أشكال المخزن المؤقت المعروفة سلفاً ونهج النسخ الصفري (تُكتب الرموز مباشرة في مواضع مجمّعة بحسب الخبراء)، تتخلص المكتبة من المزامنة مع المضيف في كل طبقة وكل خطوة. ووفق بيانات Moonshot AI، فإن مجموعة هذه الأساليب هي التي حققت زيادة قابلية التوسّع المعلنة بمقدار 2.5 مرة على نموذج بحجم 2.8 تريليون معامل.

ماذا يعني ذلك

إن فتح طبقة البنية التحتية، وليس أوزان النموذج وحدها، يخفض عتبة الدخول إلى تدريب نماذج MoE فائقة الحجم: إذ تحصل فرق من خارج المختبرات الكبرى على آلية جاهزة لموازنة الخبراء بترخيص MIT الحر.

الأسئلة الشائعة

ما هي MoonEP؟

MoonEP مكتبة توازي خبراتي من Moonshot AI للتدريب الموزّع والاستدلال لنماذج MoE. وضمانتها الرئيسية هي بالضبط S × K رمزاً لكل رتبة مهما بلغ انحياز التوجيه.

بأي ترخيص فُتحت MoonEP؟

تُوزَّع MoonEP بترخيص MIT، وهو من أكثر التراخيص تحرراً، ويسمح بالاستخدام التجاري وبتعديل الشيفرة المصدرية.

بأي إصدار ارتبط ظهور MoonEP؟

نُشرت MoonEP ضمن فعالية Kimi K3 Open Day مع أوزان نموذج Kimi K3 والتقرير التقني وقاعدتي شيفرة أخريين هما AgentEnv و FlashKDA.