Moonshot AI открыла код MoonEP — библиотеки для обучения MoE-модели Kimi K3
Moonshot AI 29 июля 2026 года открыла под лицензией MIT исходники MoonEP — библиотеки экспертного параллелизма для обучения MoE-моделей. Она гарантирует каждому GPU-рангу ровно S×K токенов независимо от перекоса роутинга и убирает главный тормоз распределённого обучения. По данным компании, MoonEP дала прирост масштабируемости Kimi K3 в 2,5 раза.
معالج بواسطة الذكاء الاصطناعي من MarkTechPost؛ بتحرير Hamidun News
فتحت MoonshotAI في 29 يوليو 2026 الكود المصدري لمكتبة MoonEP — مكتبة التوازي بين الخبراء (Expert Parallelism) للتدريب الموزّع لنماذج MoE — بموجب ترخيص MIT. تضمن MoonEP لكل رتبة حوسبة (rank) عدد S×K من التوكنات بالضبط بغض النظر عن اختلال توازن التوجيه (routing)، وأصبحت واحدة من التقنيات التي سرّعت توسّع نموذج Kimi K3 بمقدار 2.5 مرة.
لماذا يُعد التوازي بين الخبراء ضروريًا؟
في نماذج MoE، يرسل الموجّه (router) كل توكن إلى عدة خبراء من الأفضل (top-K)، الذين يعيشون فعليًا على رتب GPU مختلفة. المشكلة أن الموجّهات لا تكاد تكون متوازنة أبدًا: يحصل بعض الخبراء على توكنات أكثر بأضعاف مما يحصل عليه غيرهم. يقيس مستودع MoonEP هذا الاختلال بمقياس max_vio = max_e(T_e/T̄) − 1، حيث يعني الصفر توازنًا مثاليًا.
تكاليف اختلال التوازن بنيوية وليست عشوائية. زمن استجابة العملية الجماعية يحدده أبطأ مشارك، لذا فإن الرتبة "الساخنة" تحدد زمن الدورة (iteration) بأكملها. والأسوأ من ذلك أن عدد التوكنات لكل رتبة يتغير في كل خطوة — إذ تؤدي الأشكال الديناميكية إلى تجزئة ذاكرة GPU وتفرض مزامنة مع المضيف (host) في كل طبقة.
كيف تعمل MoonEP؟
تُدخل MoonEP قاعدة ثابتة صارمة: تحصل كل رتبة على S×K توكن بالضبط، حيث S هو عدد توكنات الإدخال لكل رتبة، وK هو عدد خبراء top-K لكل توكن. تحقق المكتبة ذلك بجدولة عدد صغير من الخبراء الزائدين (المكرَّرين) عبر الإنترنت مباشرة من مخرجات الموجّه الحالية؛ حيث تُجلب النسخ المكررة مسبقًا (prefetch) قبل الحساب الرئيسي، وفي التمرير الخلفي (backward pass) تُختزل تدرجاتها (gradients) مرة أخرى إلى الرتب "الأصلية". يقوم التصميم على ثلاث خصائص: توازن مثالي، وجدولة عبر الإنترنت بحمل إضافي شبه معدوم، ونسخ صفري (zero-copy) بأشكال ذاكرة مؤقتة (buffer) ثابتة.
«تحصل كل رتبة على S×K توكن بالضبط، مهما بلغ اختلال التوجيه»، كما جاء في وصف مستودع
MoonEP.
الحقائق الأساسية للإصدار:
- التاريخ — 29 يوليو 2026، في إطار فعالية Kimi K3 Open Day
- الترخيص — MIT
- إلى جانب MoonEP، جرى فتح كود AgentEnv و(سابقًا) FlashKDA — ثلاث قواعد كود بنية تحتية
- Kimi K3 — نموذج MoE بحجم 2.8 تريليون معامل، برؤية أصلية (native vision)، ونافذة سياق تبلغ مليون توكن
- المجدوِل (scheduler) مكتوب بلغة CUTLASS CuTe DSL، ويثبّت ملف setup.py الإصدار nvidia-cutlass-dsl==4.4.2
- للتدريب يُضبط B=E/R، أما للاستدلال (inference) فيوصي ملف README بـ B=3–4
لماذا يهم هذا المهندسين؟
تزيل MoonEP العائق الرئيسي أمام التدريب الموزّع لنماذج MoE — وهو فقدان تزامن الرتب بسبب التوجيه غير المتكافئ. وبفضل أشكال ذاكرة مؤقتة معروفة بشكل ثابت ونهج النسخ الصفري (zero-copy) — حيث تُكتب التوكنات مباشرة في مواضع مجمّعة حسب الخبير — تتخلص المكتبة من المزامنة خطوة بخطوة مع المضيف في كل طبقة. ووفقًا لـ MoonshotAI، فإن هذه المجموعة من التقنيات تحديدًا هي التي حققت زيادة قابلية التوسّع المعلنة بمقدار 2.5 مرة على النموذج ذي 2.8 تريليون معامل.
ما الذي يعنيه هذا؟
فتح طبقة البنية التحتية، وليس أوزان النموذج فقط، يخفض عتبة الدخول إلى تدريب نماذج MoE فائقة الضخامة: فالفرق خارج المختبرات الرائدة تحصل على آلية جاهزة لموازنة الخبراء بموجب ترخيص MIT الحر.
الأسئلة الشائعة
ما هي MoonEP؟
MoonEP هي مكتبة توازي بين الخبراء من MoonshotAI للتدريب والاستدلال الموزّعين لنماذج MoE. ضمانتها الأساسية هي حصول كل رتبة على S×K توكن بالضبط بغض النظر عن اختلال توازن التوجيه.
بموجب أي ترخيص جرى فتح MoonEP؟
توزَّع MoonEP بموجب ترخيص MIT — أحد أكثر التراخيص حرية، إذ يسمح بالاستخدام التجاري وتعديل الكود المصدري.
بأي إصدار يرتبط إطلاق MoonEP؟
نُشرت MoonEP في إطار فعالية Kimi K3 Open Day مع أوزان نموذج Kimi K3، وتقرير تقني، وقاعدتي كود إضافيتين — AgentEnv وFlashKDA.
هل تحتاج إلى ذكاء اصطناعي يعمل داخل شركتك — وليس فقط في موجز الأخبار؟
أبني ذكاءً اصطناعياً جاهزاً للإنتاج للشركات — أنظمة CRM مخصّصة، أدوات داخلية، وكلاء مستقلون، أتمتة سير العمل. ملك لك، مصمّم وفق عمليتك، دون رسوم لكل مستخدم. من إعداد جمال خميدون، مدير المنتجات في AlpinaGPT (منصة ذكاء اصطناعي، أكثر من 6000 مستخدم).
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.