Kimi K3.1 Pro en open weights : 2,8 billions de paramètres, 104 milliards actifs

Parfois, les informations les plus importantes arrivent sous la forme d'une simple ligne sur X. Le post de @braincramps n'a recueilli que 13 vues, mais il contient beaucoup de précisions : les poids de Kimi K3.1 Pro sont publiés, il s'agit d'un MoE de 2,8 billions de paramètres dont 104 milliards actifs, avec 93 couches, une licence personnalisée, et le modèle est multimodal. L'auteur le présente comme la plus grande publication ouverte de la semaine. Le post ne comporte ni confirmation par d'autres sources ni résultats de benchmarks : il faut donc le traiter comme une affirmation à vérifier.

Ce que signifient ces chiffres

Un MoE (mixture of experts) fonctionne ainsi : le modèle dispose d'un immense ensemble d'« experts », mais seule une petite partie est activée pour chaque token. Ici, il s'agit de 104 milliards sur 2,8 billions, soit environ 3,7 % des paramètres. En termes de calcul par token, le modèle est comparable à un modèle dense de plus de 100 milliards de paramètres. En revanche, il faut tout garder en mémoire. Un calcul simple : en 8 bits, les poids occupent environ 2,8 To, en 4 bits environ 1,4 To. Impossible de l'exécuter sur une seule machine équipée de plusieurs GPU : un cluster multinœud est nécessaire.

D'où une conclusion pratique. Des « poids ouverts » à cette échelle ne signifient pas « je l'installe sur mon serveur ». Pour la plupart des équipes, il n'y a qu'une voie réaliste : attendre que des hébergeurs déploient le modèle et y accéder via une API.

Architecture : un hybride plutôt que l'attention classique

Sur les 93 couches, 69 relèvent de KDA et 24 de gated DSA. Autrement dit, environ trois quarts de la pile sont constitués de couches d'un type, et environ un quart de l'autre. Le post n'explicite pas ces acronymes. KDA renverrait vraisemblablement à l'attention linéaire de la famille Kimi (Kimi Delta Attention), et DSA à l'attention parcimonieuse. Il s'agit de notre hypothèse, et non d'un fait issu de la source.

La raison d'un tel choix est bien connue. L'attention classique devient plus coûteuse avec la longueur du contexte et fait gonfler le cache KV. Les hybrides combinant couches linéaires et parcimonieuses compressent ce cache et rendent le long contexte moins cher. Si ce schéma fonctionne dans K3.1 Pro, les gagnants seront ceux qui traitent de longs documents, des bases de code et des chaînes d'agents, où le contexte grandit à chaque étape.

Multimodalité et licence

Par ailleurs, c'est un modèle vision-langage. Pour les équipes produit, cela signifie que captures d'écran d'interfaces, documents et diagrammes peuvent être confiés au même modèle que le texte, sans pipeline distinct. La qualité de ce traitement n'est pas encore connue.

La licence est qualifiée de « custom », et c'est l'élément le plus important que le post laisse dans l'ombre. Ces licences comportent souvent des restrictions : seuils de chiffre d'affaires ou de nombre d'utilisateurs, obligation de mentionner l'auteur, interdiction de certains usages. Tant que vous n'avez pas lu le texte, on ne peut pas parler d'open source au sens strict. Il est plus juste de parler d'open weights.

Que faire en pratique

Premièrement, ne réécrivez pas votre stack pour ce modèle sur la foi d'un seul post. Attendez des mesures indépendantes sur vos tâches : code, tool use, travail en long contexte.

Deuxièmement, vérifiez la prise en charge dans vLLM et SGLang. Les nouvelles architectures hybrides arrivent souvent avec du retard dans les moteurs d'inférence, ce qui détermine à quel moment le modèle sera réellement disponible.

Troisièmement, faites lire la licence par un juriste, ou au moins lisez-la attentivement vous-même, avant d'intégrer le modèle dans un produit commercial.

Enfin, faites le calcul économique. Avec 104 milliards de paramètres actifs, le prix par token chez un fournisseur peut s'avérer raisonnable. Mais les exigences de mémoire rendront l'hébergement coûteux pour ceux qui voudront faire tourner le modèle en interne. Pour l'heure, la principale conclusion est la suivante : les laboratoires chinois continuent de publier des poids à l'échelle des modèles phares, ce qui relève encore une fois la barre pour les modèles ouverts.