Moonshot lança Kimi K2: MoE de 1 trilhão de parâmetros focada em agentes

A Moonshot AI publicou os pesos do Kimi K2, um modelo Mixture-of-Experts com 1 trilhão de parâmetros, dos quais 32 bilhões são acionados por token. Foram lançadas duas versões: o Kimi-K2-Base, para quem deseja fazer o fine-tuning por conta própria, e o Kimi-K2-Instruct, voltado para chat e cenários com agentes. A versão Instruct não realiza cadeias longas de raciocínio e responde diretamente. Posteriormente, a empresa liberou a atualização 0905, trazendo melhorias em codificação com agentes e contexto de 256K. Segundo a Moonshot, entre os modelos sem modo thinking, o K2 alcança o melhor desempenho em conhecimentos gerais, matemática e código.

MuonClip: como treinar um trilhão de parâmetros sem interrupções

A principal novidade técnica não está na escala, mas no otimizador. A equipe da Moonshot aposta no Muon há algum tempo. No trabalho anterior com o Moonlight, o otimizador superou visivelmente o tradicional AdamW em eficiência no uso de tokens. No K2, essa abordagem foi escalada para uma arquitetura próxima à do DeepSeek-V3. Com base na análise das scaling laws, os engenheiros reduziram o número de cabeças de atenção para ganhar eficiência em contextos longos e aumentaram a esparsidade do MoE para otimizar o consumo de tokens.

Em grande escala, surgiu um problema: com o Muon, as logits de atenção tendem a explodir com mais frequência. Logit soft-capping e normalização de query e key não resolveram a questão. A solução encontrada foi o qk-clip. Após cada passo do Muon, os pesos das projeções de query e key são escalados por um coeficiente η, definido como min(t / max(qᵀk), 1), onde t é um valor predeterminado. Dessa forma, a escala das logits é contida diretamente na fonte, antes de se propagar. Como resultado, o pré-treinamento com 15.5 trilhões de tokens ocorreu sem um único pico de loss. A Moonshot destaca que essa técnica é geral e pode ser aplicada em outros cenários de estabilização.

De onde vêm as capacidades de agente

O modelo foi treinado para agir no ambiente em duas etapas. Primeiro, foi construído um pipeline de dados sintéticos inspirado no ACEBench. Ele engloba centenas de domínios e milhares de ferramentas — tanto MCPs reais quanto sintéticas —, gerando centenas de agentes com diferentes combinações de recursos. Os agentes interagem com ambientes e usuários simulados. As tarefas são avaliadas por critérios objetivos, e um juiz baseado em LLM descarta trajetórias fracas. Os dados restantes passam por rejection sampling e RL.

A segunda etapa envolve RL geral, onde o maior desafio reside nas tarefas sem recompensa verificável, como a elaboração de relatórios de pesquisa. Nesses casos, o próprio modelo atua como crítico e avalia o resultado com base em rubricas detalhadas. O crítico é ajustado continuamente por meio de rollouts on-policy com recompensas verificáveis (como matemática e programação competitiva), garantindo que seu julgamento acompanhe a evolução da política.

Nas demonstrações, o K2 seleciona as próprias ferramentas. Uma análise salarial consumiu 16 chamadas de IPython. O planejamento de uma viagem para um show do Coldplay em Londres envolveu 17 chamadas combinando busca, calendário, Gmail, passagens aéreas, Airbnb e reservas de restaurantes. Na conversão Flask-to-Rust, o modelo reescreve todo o projeto e executa os benchmarks de validação.

Principais especificações

• Arquitetura: MoE, 1 trilhão de parâmetros, 32 bilhões ativos
• Pré-treinamento: 15.5 trilhões de tokens, otimizador MuonClip, sem divergências de treino
• Lançamento: Kimi-K2-Base e Kimi-K2-Instruct
• Contexto após atualização 0905: 256K
• Engines de inferência: vLLM, SGLang, KTransformers, TensorRT-LLM
• API: compatível com interfaces da OpenAI e Anthropic

Como testar e quais são os pontos de atenção

Para testes rápidos, o modelo está disponível gratuitamente nas versões web e mobile do Kimi. Os recursos de MCP ainda estão em desenvolvimento nessas plataformas, e o suporte a vision não está disponível. Para desenvolvedores, o caminho mais direto é a API, compatível com as SDKs da OpenAI e Anthropic: quase não há necessidade de alterar o código da aplicação, bastando ajustar o endpoint e o nome do modelo. Para execução local ou em infraestrutura própria, os desenvolvedores recomendam as engines citadas e apontam para os guias no GitHub. Um trilhão de parâmetros exige um cluster robusto, limitando o auto-hospedagem a equipes com infraestrutura já estruturada.

A própria Moonshot mapeia as limitações do K2. Em raciocínios muito complexos ou descrições imprecisas de ferramentas, o modelo pode gerar tokens desnecessários, resultando em respostas cortadas ou chamadas incompletas. Com o uso de ferramentas ativado, a qualidade cai em algumas tarefas isoladas. Criar um projeto completo de software a partir de um único prompt tem resultado inferior ao uso estruturado com agentes. Na prática: configure limites claros de tokens, defina os schemas das ferramentas com rigor e ofereça ao K2 um ciclo com testes e logs em vez de um único prompt longo. A empresa promete integrar modo thinking e suporte à visão computacional em atualizações futuras.