Moonshot AI открыла код MoonEP — библиотеки для обучения MoE-модели Kimi K3

MoonshotAI abrió el código fuente de MoonEP el 29 de julio de 2026 — una biblioteca de paralelismo de expertos (Expert Parallelism) para el entrenamiento distribuido de modelos MoE — bajo licencia MIT. MoonEP entrega exactamente S×K tokens a cada rango de cómputo independientemente del desequilibrio del enrutamiento, y se convirtió en una de las tecnologías que aceleraron el escalado del modelo Kimi K3 en 2,5 veces.

Por qué se necesita el paralelismo de expertos

En los modelos MoE, el enrutador (router) envía cada token a varios de los mejores expertos (top-K), que viven físicamente en distintos rangos de GPU. El problema es que los enrutadores casi nunca están equilibrados: algunos expertos reciben muchas más veces tokens que otros. El repositorio de MoonEP mide el desequilibrio con la métrica max_vio = max_e(T_e/T̄) − 1, donde cero significa equilibrio perfecto.

Los costes del desequilibrio son estructurales, no aleatorios. La latencia de una operación colectiva la determina el participante más lento, por lo que el rango "caliente" marca el tiempo de toda la iteración. Peor aún, el número de tokens por rango cambia en cada paso: las formas dinámicas fragmentan la memoria de la GPU y obligan a sincronizar con el host en cada capa.

Cómo funciona MoonEP

MoonEP introduce un invariante estricto: cada rango recibe exactamente S×K tokens, donde S son los tokens de entrada por rango y K es el número de expertos top-K por token. La biblioteca lo logra planificando en línea un pequeño número de expertos redundantes (duplicados) directamente a partir de las salidas actuales del enrutador; los duplicados se precargan (prefetch) antes del cómputo principal, y en el paso hacia atrás sus gradientes se reducen de vuelta a los rangos "de origen". El diseño se sostiene en tres propiedades: equilibrio perfecto, planificación en línea con una sobrecarga casi nula y zero-copy con formas de búfer estáticas.

«Cada rango recibe exactamente S×K tokens, sin importar cuán desequilibrado esté el enrutamiento», se afirma en la descripción del repositorio de

MoonEP.

Datos clave del lanzamiento:

• Fecha — 29 de julio de 2026, en el marco de Kimi K3 Open Day
• Licencia — MIT
• Junto con MoonEP se abrieron AgentEnv y (anteriormente) FlashKDA — tres bases de código de infraestructura
• Kimi K3 — modelo MoE de 2,8 billones de parámetros, visión nativa, contexto de 1 millón de tokens
• El planificador está escrito en CUTLASS CuTe DSL, setup.py fija nvidia-cutlass-dsl==4.4.2
• Para el entrenamiento se fija B=E/R, para la inferencia el README recomienda B=3–4

Por qué esto importa a los ingenieros

MoonEP elimina el principal freno del entrenamiento distribuido de MoE: la desincronización de rangos por un enrutamiento desigual. Gracias a formas de búfer conocidas de forma estática y a un enfoque zero-copy (los tokens se escriben directamente en posiciones agrupadas por experto), la biblioteca se libera de la sincronización paso a paso con el host en cada capa. Según MoonshotAI, precisamente este conjunto de técnicas produjo la ganancia de escalabilidad declarada de 2,5 veces en el modelo de 2,8 billones de parámetros.

Qué significa esto

Abrir la capa de infraestructura, y no solo los pesos del modelo, reduce la barrera de entrada para entrenar modelos MoE ultragrandes: los equipos fuera de los laboratorios líderes obtienen un mecanismo listo de equilibrio de expertos bajo la licencia libre MIT.

Preguntas frecuentes

¿Qué es MoonEP?

MoonEP es una biblioteca de paralelismo de expertos de MoonshotAI para el entrenamiento y la inferencia distribuidos de modelos MoE. Su garantía principal es exactamente S×K tokens por rango, independientemente del desequilibrio del enrutamiento.

¿Bajo qué licencia se publicó MoonEP?

MoonEP se distribuye bajo licencia MIT, una de las más libres, que permite el uso comercial y la modificación del código fuente.

¿Con qué lanzamiento está relacionada la salida de MoonEP?

MoonEP se publicó en el marco de Kimi K3 Open Day junto con los pesos del modelo Kimi K3, un informe técnico y otras dos bases de código: AgentEnv y FlashKDA.