Moonshot AI ouvre le code de MoonEP, la bibliothèque d'entraînement du modèle MoE Kimi K3

Le 29 juillet 2026, Moonshot AI a publié sous licence MIT le code source de MoonEP, une bibliothèque de parallélisme d'experts (Expert Parallelism) pour l'entraînement distribué de modèles MoE. MoonEP attribue à chaque rang de calcul exactement S × K tokens, quel que soit le déséquilibre du routage. C'est l'une des technologies qui ont accéléré de 2,5 fois le passage à l'échelle du modèle Kimi K3.

Pourquoi le parallélisme d'experts est nécessaire

Dans les modèles MoE, le routeur envoie chaque token vers plusieurs experts parmi les meilleurs (top-K), qui résident physiquement sur différents rangs GPU. Le problème : les routeurs sont presque toujours déséquilibrés, certains experts recevant plusieurs fois plus de tokens que d'autres. Le dépôt MoonEP mesure ce déséquilibre avec la métrique maxvio = max_e (T_e / T̄) − 1, où zéro correspond à un équilibre parfait.

Les coûts de ce déséquilibre sont structurels, pas accidentels. La latence d'une opération collective est dictée par le participant le plus lent : un rang « chaud » fixe donc la durée de toute l'itération. Pire, le nombre de tokens par rang change à chaque pas. Ces formes dynamiques fragmentent la mémoire GPU et imposent une synchronisation avec l'hôte à chaque couche.

Comment fonctionne MoonEP

MoonEP introduit un invariant strict : chaque rang reçoit exactement S × K tokens, où S est le nombre de tokens d'entrée par rang et K le nombre d'experts top-K par token. La bibliothèque y parvient en planifiant en ligne un petit nombre d'experts redondants (dupliqués), directement à partir des sorties courantes du routeur. Ces doublons sont préchargés avant le calcul principal ; lors de la passe arrière, leurs gradients sont agrégés vers les rangs « d'origine ». La conception repose sur trois propriétés : un équilibre parfait, une planification en ligne à surcoût quasi nul, et du zero-copy avec des formes de tampon statiques.

«

Chaque rang reçoit exactement S × K tokens, quel que soit le déséquilibre du routage », indique la description du dépôt MoonEP.

Principaux faits de cette publication :

• Date : 29 juillet 2026, dans le cadre du Kimi K3 Open Day
• Licence : MIT
• Avec MoonEP, AgentEnv et (précédemment) FlashKDA ont été ouverts, soit trois bases de code d'infrastructure
• Kimi K3 : modèle MoE de 2,8 trillions de paramètres, vision native, contexte de 1 million de tokens
• Le planificateur est écrit avec CUTLASS CuTe DSL, et setup.py fixe nvidia-cutlass-dsl==4.4.2
• Pour l'entraînement, on fixe B = E/R ; pour l'inférence, le README recommande B = 3–4

Pourquoi c'est important pour les ingénieurs

MoonEP supprime le principal goulot d'étranglement de l'entraînement distribué des MoE : la désynchronisation des rangs causée par un routage inégal. Grâce à des formes de tampon connues statiquement et à une approche zero-copy (les tokens sont écrits directement aux positions regroupées par expert), la bibliothèque élimine la synchronisation avec l'hôte à chaque couche. Selon Moonshot AI, c'est cet ensemble de techniques qui a produit le gain de scalabilité annoncé de 2,5 fois sur un modèle de 2,8 trillions de paramètres.

Ce que cela signifie

Ouvrir la couche d'infrastructure, et pas seulement les poids du modèle, abaisse le seuil d'entrée pour entraîner de très grands modèles MoE : des équipes extérieures aux grands laboratoires disposent désormais d'un mécanisme prêt à l'emploi d'équilibrage des experts, sous la licence libre MIT.

Questions fréquentes

Qu'est-ce que MoonEP ?

MoonEP est une bibliothèque de parallélisme d'experts de Moonshot AI pour l'entraînement et l'inférence distribués de modèles MoE. Sa garantie centrale : exactement S × K tokens par rang, quel que soit le déséquilibre du routage.

Sous quelle licence MoonEP est-il publié ?

MoonEP est distribué sous licence MIT, l'une des plus permissives, qui autorise l'usage commercial et la modification du code source.

À quelle publication la sortie de MoonEP est-elle liée ?

MoonEP a été publié dans le cadre du Kimi K3 Open Day, avec les poids du modèle Kimi K3, un rapport technique et deux autres bases de code : AgentEnv et FlashKDA.