Moonshot lança Kimi K3 com 2,8 trilhões de parâmetros e contexto de 1 milhão de tokens

A Moonshot AI lançou o Kimi K3, um modelo de 2,8 trilhões de parâmetros com visão nativa e contexto de um milhão de tokens. A empresa o define como o primeiro modelo aberto da classe 3T. Ele está disponível no aplicativo Kimi, no Kimi Work para desktop, no Kimi Code para terminal e via API. A Moonshot promete publicar os pesos completos mais adiante, junto com um relatório técnico. Os próprios desenvolvedores fazem uma ressalva: em nível geral, o K3 ainda fica atrás dos líderes fechados, Claude Fable 5 e GPT 5.6 Sol, mas, segundo eles, supera de forma consistente os demais modelos testados.

Arquitetura: 16 especialistas de 896

O K3 se baseia em duas atualizações. O Kimi Delta Attention cuida do escalonamento eficiente da atenção ao longo do comprimento da sequência. Já o Attention Residuals extrai representações de forma seletiva ao longo da profundidade da rede, em vez de acumulá-las de modo uniforme.

Sobre essa base, a Moonshot aumentou a esparsidade do Mixture of Experts: para cada token, 16 de 896 especialistas são ativados no framework Stable LatentMoE. Com tanta esparsidade, roteamento e balanceamento viram o principal problema de engenharia, e a equipe apresenta algumas soluções. O Quantile Balancing monta a distribuição a partir de quantis das pontuações do roteador, sem atualizações heurísticas nem hiperparâmetro sensível.

O Per-Head Muon, por sua vez, otimiza cada cabeça de atenção de forma independente.

Segundo a Moonshot, o conjunto rende um ganho de cerca de 2,5 vezes na eficiência de escalonamento em relação ao Kimi K2. O treinamento com consciência de quantização começa na etapa de SFT: pesos em MXFP4 e ativações em MXFP8. Para inferência, a empresa recomenda supernós com 64 aceleradores ou mais. Além disso, ela contribuiu com o vLLM com uma implementação de cache de prefixo para o KDA, que será lançada junto com o modelo.

O que a Moonshot mostrou

O foco principal está em tarefas longas de agentes. Todos os números abaixo foram divulgados pela própria empresa, e ainda não há verificação independente.

• Otimização de kernels de GPU: quatro tarefas, até 24 horas por modelo, em Hopper e em GPGPU de um fornecedor terceiro. O K3 fica no mesmo nível do Fable 5 (com fallback) e supera com folga o Opus 4.8, o GPT 5.6 Sol e o GPT 5.5.
• MiniTriton: um compilador nos moldes do Triton, com IR próprio em nível de tile sobre MLIR e geração de PTX. Nos testes de roofline suportados, ele não fica atrás do Triton e do torch.compile, e em alguns casos é mais rápido. O treinamento do nanoGPT nele converge de forma estável.
• Chip: em uma única execução autônoma de 48 horas, o modelo projetou um acelerador para um nano-modelo com arquitetura própria. São 4 mm², 100 MHz, 1,46 milhão de células padrão e mais de 8 700 tokens/s em simulação.
• Ciência: reprodução das relações universais I–Love–Q da astrofísica em cerca de duas horas, em vez de uma a duas semanas de trabalho de um pesquisador. Foram 20+ artigos, 300+ equações de estado e mais de 3 000 linhas de Python.
• Edição de vídeo: o modelo montou sozinho um teaser com 56 clipes, incluindo sincronização com a batida.

As ressalvas no próprio blog são importantes. O Fable 5 foi testado por um terceiro, e os resultados podem ter incluído fallback. No SWE Marathon, o fallback foi acionado em 35% das tarefas, o que pode ter subestimado a pontuação. Para o SWE Marathon, a Moonshot usou um ramo próprio de tarefas, recalibrado para a H20. Comparações com concorrentes nessas condições merecem leitura cautelosa.

Preço e acesso

O K3 funciona no Kimi.ai, no Kimi Work 3.1.0 e superior (Windows e Mac com Apple silicon), no Kimi Code pelo comando /model e na API com o nome kimi-k3. Os preços são: $0,30 por milhão de tokens de entrada com acerto no cache, $3,00 sem cache e $15,00 por milhão de tokens de saída. A Moonshot afirma que, na arquitetura Mooncake, a taxa de acerto no cache em cenários de programação passa de 90%. Em sessões longas de agentes, é isso que define a conta final. No lançamento, o modo de raciocínio máximo vem ativado por padrão; os modos baixo e alto chegam depois. Para equipes corporativas, há o Kimi Enterprise, com separação entre contas pessoais e organizacionais.

A conclusão prática para desenvolvedores: se você roda sessões longas de programação, vale comparar o K3 com o modelo que usa hoje em repositórios reais e calcular o custo considerando o cache. Quem quiser hospedar o modelo por conta própria terá de esperar pelos pesos e levar em conta os requisitos de infraestrutura: a partir de 64 aceleradores para uma inferência confortável.