Moonshot AI libera el código de MoonEP, la biblioteca para entrenar el modelo MoE Kimi K3

Moonshot AI liberó el 29 de julio de 2026 el código fuente de MoonEP, una biblioteca de paralelismo de expertos (Expert Parallelism) para el entrenamiento distribuido de modelos MoE, con licencia MIT. MoonEP entrega a cada rango de cómputo exactamente S × K tokens, sea cual sea el sesgo del enrutamiento, y fue una de las tecnologías que aceleraron 2,5 veces el escalado del modelo Kimi K3.

Para qué sirve el paralelismo de expertos

En los modelos MoE, el router envía cada token a varios de los mejores expertos (top-K), que residen físicamente en distintos rangos de GPU. El problema es que los routers casi nunca están equilibrados: unos expertos reciben varias veces más tokens que otros. El repositorio de MoonEP mide el sesgo con la métrica maxvio = max_e (T_e / T̄) − 1, donde cero significa un equilibrio perfecto.

El coste del desequilibrio es estructural, no casual. La latencia de una operación colectiva la determina el participante más lento, así que el rango «caliente» marca el tiempo de toda la iteración. Peor aún, el número de tokens por rango cambia en cada paso: las formas dinámicas fragmentan la memoria de la GPU y obligan a sincronizar con el host en cada capa.

Cómo funciona MoonEP

MoonEP introduce un invariante estricto: cada rango recibe exactamente S × K tokens, donde S es el número de tokens de entrada por rango y K, el número de expertos top-K por token. La biblioteca lo logra planificando en línea un pequeño número de expertos redundantes (duplicados) a partir de las salidas actuales del router. Los duplicados se precargan (prefetch) antes del cómputo principal y, en el paso hacia atrás, sus gradientes se reducen de vuelta a los rangos «de origen». El diseño se sustenta en tres propiedades: equilibrio perfecto, planificación en línea con una sobrecarga (overhead) casi nula y zero-copy con formas de búfer estáticas.

«Cada rango recibe exactamente S × K tokens, por muy sesgado que esté el enrutamiento», se afirma en la descripción del repositorio de

MoonEP.

Datos clave del lanzamiento:

• Fecha: 29 de julio de 2026, dentro del Kimi K3 Open Day
• Licencia: MIT
• Junto con MoonEP se liberan AgentEnv y (con anterioridad) FlashKDA, tres bases de código de infraestructura
• Kimi K3 es un modelo MoE de 2,8 billones de parámetros, con visión nativa y contexto de 1 millón de tokens
• El planificador está escrito en CUTLASS CuTe DSL, y setup.py fija nvidia-cutlass-dsl==4.4.2
• Para entrenamiento se establece B = E/R; para inferencia, el README recomienda B = 3–4

Por qué importa a los ingenieros

MoonEP elimina el principal freno del entrenamiento distribuido de MoE: la desincronización de los rangos causada por un enrutamiento desigual. Gracias a las formas de búfer conocidas de forma estática y al enfoque zero-copy (los tokens se escriben directamente en posiciones agrupadas por experto), la biblioteca evita la sincronización con el host en cada capa. Según Moonshot AI, este conjunto de técnicas es lo que produjo el aumento declarado de 2,5 veces en la escalabilidad de un modelo de 2,8 billones de parámetros.

Qué significa

Liberar la capa de infraestructura, y no solo los pesos del modelo, reduce la barrera de entrada para entrenar modelos MoE de gran tamaño: equipos ajenos a los laboratorios de primer nivel obtienen un mecanismo ya hecho de equilibrio de expertos bajo la licencia libre MIT.

Preguntas frecuentes

¿Qué es MoonEP?

MoonEP es una biblioteca de paralelismo de expertos de Moonshot AI para el entrenamiento distribuido y la inferencia de modelos MoE. Su garantía principal es entregar exactamente S × K tokens a cada rango, con independencia del sesgo del enrutamiento.

¿Con qué licencia se ha liberado MoonEP?

MoonEP se distribuye con licencia MIT, una de las más permisivas, que autoriza el uso comercial y la modificación del código fuente.

¿Con qué lanzamiento se relaciona la publicación de MoonEP?

MoonEP se ha publicado dentro del Kimi K3 Open Day, junto con los pesos del modelo Kimi K3, el informe técnico y otras dos bases de código: AgentEnv y FlashKDA.