Moonshot lance Kimi K3 : 2,8 billions de paramètres et 1 million de tokens de contexte

Moonshot AI a lancé Kimi K3, un modèle de 2,8 billions de paramètres intégrant une vision native et une fenêtre de contexte d'un million de tokens. L'entreprise le qualifie de premier modèle ouvert de classe 3T. Il est d'ores et déjà disponible via l'application Kimi, le client desktop Kimi Work, l'outil en ligne de commande Kimi Code et son API. Moonshot promet de publier l'intégralité des poids plus tard, accompagnée d'un rapport technique. Les développeurs précisent toutefois que, sur le plan des performances globales, K3 demeure en retrait face aux leaders propriétaires Claude Fable 5 et GPT 5.6 Sol, tout en affirmant dépasser régulièrement les autres modèles évalués.

Architecture : 16 experts actifs sur 896

L'architecture de K3 s'articule autour de deux nouveautés fondamentales. Kimi Delta Attention assure une mise à l'échelle efficace de l'attention sur les longues séquences. Les Attention Residuals extraient quant à eux sélectivement les représentations à travers la profondeur du réseau plutôt que de les accumuler uniformément.

Par-dessus cette base, Moonshot a accentué la sparsité de son Mixture of Experts : chaque token ne sollicite que 16 experts parmi les 896 disponibles via le framework Stable LatentMoE. Avec un tel niveau de sparsité, le routage et l'équilibrage de charge deviennent le défi d'ingénierie central. L'équipe y répond par deux mécanismes : Quantile Balancing, qui calibre la distribution sur les quantiles de scores du routeur sans heuristiques de mise à jour ni hyperparamètres sensibles, et Per-Head Muon, qui optimise chaque tête d'attention de façon indépendante.

Selon les estimations de Moonshot, l'ensemble confère un gain d'efficacité de mise à l'échelle d'environ 2,5 fois par rapport à Kimi K2. L'entraînement adapté à la quantification intervient dès l'étape SFT, avec des poids en MXFP4 et des activations en MXFP8. Pour l'inférence, l'entreprise préconise des super-nœuds embarquant au moins 64 accélérateurs. Elle a par ailleurs soumis à vLLM une implémentation du prefix caching pour KDA, dont la disponibilité coïncidera avec la sortie publique du modèle.

Les résultats mis en avant par Moonshot

La démonstration cible principalement les tâches agentiques au long cours. L'ensemble des chiffres ci-dessous provient exclusivement de l'entreprise, en l'absence d'évaluation indépendante.

• Optimisation de kernels GPU : sur quatre tâches mobilisant jusqu'à 24 heures par modèle, sur architecture Hopper et GPGPU tiers, K3 fait jeu égal avec Fable 5 (avec recours au repli) et surpasse nettement Opus 4.8, GPT 5.6 Sol et GPT 5.5.
• MiniTriton : un compilateur inspiré de Triton, doté d'une RI propre au niveau tuile (tile-level IR) au-dessus de MLIR avec génération de code PTX. Sur les benchmarks roofline pris en charge, il égale Triton et torch.compile, s'avérant parfois plus rapide. L'entraînement de nanoGPT y converge de manière stable.
• Conception de puces : au terme d'une session autonome continue de 48 heures, le modèle a entièrement conçu un accélérateur hardware dédié à un nano-modèle sur son architecture propriétaire. Bilan : 4 mm², 100 MHz, 1,46 million de cellules standards et plus de 8 700 tokens/s en simulation.
• Recherche scientifique : reproduction des relations universelles I–Love–Q en astrophysique en environ deux heures, contre une à deux semaines de travail humain habituel. Le modèle a synthétisé plus de 20 articles, 300 équations d'état et généré plus de 3 000 lignes de Python.
• Montage vidéo : le modèle a assemblé en autonomie un teaser à partir de 56 clips distincts, incluant la synchronisation sur le rythme musical.

Ces annonces appellent toutefois d'importantes réserves, concédées dans le billet de blog. Fable 5 a été évalué par un tiers et ses résultats ont pu intégrer des mécanismes de repli. Sur SWE Marathon, ce filet de sécurité s'est déclenché sur 35% des tâches, ce qui a pu pénaliser son score. De plus, Moonshot a utilisé pour ce benchmark une déclinaison personnalisée réétalonnée pour l'accélérateur H20. Ces comparaisons directes doivent donc être interprétées avec précaution.

Tarifs et disponibilité

K3 est disponible sur Kimi.ai, dans Kimi Work 3.1.

0 et versions ultérieures (Windows et Mac Apple silicon), sur Kimi Code via la commande /model, ainsi que sur l'API sous l'identifiant kimi-k3. La grille tarifaire s'établit à 0,30 $ par million de tokens d'entrée mis en cache, 3,00 $ hors cache, et 15,00 $ par million de tokens de sortie. Moonshot soutient que sur l'architecture Mooncake, le taux de succès du cache dépasse 90% sur les scénarios de programmation — un paramètre décisif pour la facture finale des longues sessions d'agents.

Au lancement, le mode de raisonnement maximal est activé par défaut ; des modes bas et élevé suivront plus tard. Les entreprises ont accès à une offre Kimi Enterprise prévoyant l'isolation stricte des comptes personnels et organisationnels.

Côté intégration, les équipes exécutant de volumineuses sessions de code ont tout intérêt à évaluer K3 face à leur pile actuelle sur leurs propres dépôts, en intégrant le gain du cache dans l'équation de coût. Pour l'auto-hébergement, il faudra attendre la mise à disposition des poids et disposer de l'infrastructure requise : au moins 64 accélérateurs pour une inférence fluide.