Moonshot AI abre o código do MoonEP, biblioteca usada no treinamento do modelo MoE Kimi K3

Em 29 de julho de 2026, a Moonshot AI abriu, sob licença MIT, o código-fonte do MoonEP, biblioteca de paralelismo de especialistas (Expert Parallelism) para o treinamento distribuído de modelos MoE. O MoonEP entrega a cada rank de computação exatamente S × K tokens, independentemente do desbalanceamento do roteamento, e foi uma das tecnologias que aceleraram em 2,5 vezes a escalabilidade do modelo Kimi K3.

Para que serve o paralelismo de especialistas

Em modelos MoE, o roteador envia cada token aos melhores especialistas (top-K), que ficam fisicamente em ranks de GPU diferentes. O problema é que os roteadores quase nunca são balanceados: alguns especialistas recebem várias vezes mais tokens que outros. O repositório do MoonEP mede esse desbalanceamento com a métrica maxvio = max_e (T_e / T̄) − 1, em que zero indica balanceamento perfeito.

O custo do desbalanceamento é estrutural, não aleatório. A latência de uma operação coletiva é definida pelo participante mais lento, e por isso o rank "quente" determina o tempo de toda a iteração. Para piorar, o número de tokens por rank muda a cada passo: formas dinâmicas fragmentam a memória da GPU e forçam uma sincronização com o host em cada camada.

Como o MoonEP funciona

O MoonEP impõe um invariante rígido: cada rank recebe exatamente S × K tokens, em que S é o número de tokens de entrada por rank e K, o número de especialistas top-K por token. A biblioteca chega a isso planejando online um pequeno número de especialistas redundantes (duplicados) diretamente a partir das saídas atuais do roteador. As cópias passam por prefetch antes da computação principal e, na passagem de volta, seus gradientes são reduzidos de volta aos ranks "de origem". O projeto se apoia em três propriedades: balanceamento perfeito, planejamento online com overhead quase nulo e zero-copy com formas de buffer estáticas.

"Cada rank recebe exatamente S × K tokens, por mais desbalanceado que seja o roteamento", diz a descrição do repositório do

MoonEP.

Principais fatos do lançamento:

• Data: 29 de julho de 2026, durante o Kimi K3 Open Day
• Licença: MIT
• Junto com o MoonEP foram abertos o AgentEnv e (anteriormente) o FlashKDA, três bases de código de infraestrutura
• O Kimi K3 é um modelo MoE com 2,8 trilhões de parâmetros, visão nativa e contexto de 1 milhão de tokens
• O planejador é escrito em CUTLASS CuTe DSL, e o setup.py fixa nvidia-cutlass-dsl==4.4.2
• No treinamento, define-se B = E/R; para inferência, o README recomenda B = 3–4

Por que isso importa para engenheiros

O MoonEP elimina o principal gargalo do treinamento distribuído de MoE: a dessincronização entre ranks causada pelo roteamento desigual. Com formas de buffer conhecidas de forma estática e a abordagem zero-copy (os tokens são gravados diretamente nas posições agrupadas por especialista), a biblioteca dispensa a sincronização com o host a cada camada. Segundo a Moonshot AI, foi esse conjunto de técnicas que produziu o ganho declarado de 2,5 vezes na escalabilidade de um modelo de 2,8 trilhões de parâmetros.

O que isso significa

Abrir a camada de infraestrutura, e não apenas os pesos do modelo, reduz a barreira de entrada para treinar modelos MoE gigantescos: equipes fora dos grandes laboratórios ganham um mecanismo pronto de balanceamento de especialistas, sob a licença livre MIT.

Perguntas frequentes

O que é o MoonEP?

O MoonEP é uma biblioteca de paralelismo de especialistas da Moonshot AI para treinamento e inferência distribuídos de modelos MoE. Sua principal garantia é entregar exatamente S × K tokens a cada rank, independentemente do desbalanceamento do roteamento.

Sob qual licença o MoonEP foi aberto?

O MoonEP é distribuído sob a licença MIT, uma das mais permissivas, que autoriza uso comercial e modificação do código-fonte.

A qual lançamento a chegada do MoonEP está ligada?

O MoonEP foi publicado durante o Kimi K3 Open Day, junto com os pesos do modelo Kimi K3, o relatório técnico e outras duas bases de código: AgentEnv e FlashKDA.