Moonshot AI открыла код MoonEP — библиотеки для обучения MoE-модели Kimi K3

MoonshotAI a ouvert le code source de MoonEP le 29 juillet 2026 — une bibliothèque de parallélisme d'experts (Expert Parallelism) pour l'entraînement distribué de modèles MoE — sous licence MIT. MoonEP délivre exactement S×K tokens à chaque rang de calcul, indépendamment du déséquilibre du routage, et est devenue l'une des technologies ayant accéléré la mise à l'échelle du modèle Kimi K3 de 2,5 fois.

Pourquoi le parallélisme d'experts est-il nécessaire

Dans les modèles MoE, le routeur envoie chaque token à plusieurs des meilleurs experts (top-K), qui vivent physiquement sur des rangs GPU différents. Le problème est que les routeurs sont presque toujours déséquilibrés : certains experts reçoivent bien plus de tokens que d'autres. Le dépôt MoonEP mesure ce déséquilibre avec la métrique max_vio = max_e(T_e/T̄) − 1, où zéro signifie un équilibre parfait.

Les coûts du déséquilibre sont structurels, et non aléatoires. La latence d'une opération collective est déterminée par le participant le plus lent, si bien que le rang « chaud » fixe la durée de toute l'itération. Pire encore, le nombre de tokens par rang change à chaque étape — les formes dynamiques fragmentent la mémoire GPU et imposent une synchronisation avec l'hôte à chaque couche.

Comment fonctionne MoonEP

MoonEP introduit un invariant strict : chaque rang reçoit exactement S×K tokens, où S est le nombre de tokens d'entrée par rang et K le nombre d'experts top-K par token. La bibliothèque y parvient en planifiant en ligne un petit nombre d'experts redondants (dupliqués) directement à partir des sorties actuelles du routeur ; les doublons sont préchargés (prefetch) avant le calcul principal, et lors de la passe arrière, leurs gradients sont réduits vers les rangs « d'origine ». La conception repose sur trois propriétés : un équilibre parfait, une planification en ligne à surcoût quasi nul, et le zero-copy avec des formes de buffer statiques.

«

Chaque rang reçoit exactement S×K tokens, quel que soit le déséquilibre du routage », indique la description du dépôt MoonEP.

Faits clés de la sortie :

• Date — 29 juillet 2026, dans le cadre du Kimi K3 Open Day
• Licence — MIT
• Aux côtés de MoonEP ont été ouverts AgentEnv et (précédemment) FlashKDA — trois bases de code d'infrastructure
• Kimi K3 — modèle MoE de 2,8 billions de paramètres, vision native, contexte de 1 million de tokens
• Le planificateur est écrit en CUTLASS CuTe DSL, setup.py fixe nvidia-cutlass-dsl==4.4.2
• Pour l'entraînement, B=E/R est défini ; pour l'inférence, le README recommande B=3–4

Pourquoi c'est important pour les ingénieurs

MoonEP élimine le principal frein de l'entraînement distribué des MoE — la désynchronisation des rangs due à un routage inégal. Grâce à des formes de buffer connues statiquement et à une approche zero-copy (les tokens sont écrits directement à des positions regroupées par expert), la bibliothèque se débarrasse de la synchronisation pas à pas avec l'hôte à chaque couche. Selon MoonshotAI, c'est précisément cet ensemble de techniques qui a permis le gain de scalabilité annoncé de 2,5 fois sur le modèle à 2,8 billions de paramètres.

Ce que cela signifie

Ouvrir la couche d'infrastructure, et pas seulement les poids du modèle, abaisse la barrière à l'entrée pour l'entraînement de modèles MoE ultra-larges : des équipes en dehors des laboratoires de pointe obtiennent un mécanisme d'équilibrage d'experts prêt à l'emploi, sous licence libre MIT.

Questions fréquentes

Qu'est-ce que MoonEP ?

MoonEP est une bibliothèque de parallélisme d'experts de MoonshotAI pour l'entraînement et l'inférence distribués de modèles MoE. Sa garantie principale est exactement S×K tokens par rang, indépendamment du déséquilibre du routage.

Sous quelle licence MoonEP est-il publié ?

MoonEP est distribué sous licence MIT — l'une des plus libres, autorisant l'usage commercial et la modification du code source.

À quelle sortie la publication de MoonEP est-elle liée ?

MoonEP a été publié dans le cadre du Kimi K3 Open Day, avec les poids du modèle Kimi K3, un rapport technique et deux autres bases de code — AgentEnv et FlashKDA.