Kimi K3.1 Pro prend la 4e place de l'AA Index avec 55 points et un bond sur les agents

Moonshot a lancé Kimi K3.1 Pro. Selon Artificial Analysis, ce nouveau modèle de raisonnement obtient 55 points à l'Intelligence Index. Il se classe quatrième, avec 11 points de plus que Kimi K3, qui en affichait 44. Seuls Claude Opus 5.5 (58 points en mode max with fallback), Claude Sonnet 5.5 (56) et Muse Wonder Full (56) font mieux. Les poids de K3.1 Pro ne sont pas encore publiés, mais Moonshot devrait les mettre en ligne peu après le lancement. Le modèle deviendrait alors le plus performant parmi les modèles open weights, et l'écart entre le meilleur modèle ouvert et le meilleur modèle fermé passerait de 12 points à 3.

Bond côté agents : Terminal-Bench passe de 13% à 67%

Les changements les plus marquants concernent le travail agentique. Sur GDPval-AA, où les modèles résolvent des tâches proches du travail de bureau et d'expertise réel, K3.1 Pro atteint 1 846 Elo. C'est 312 points de plus que Kimi K3, ce qui lui vaut la troisième place derrière Claude Opus 5.5 (1 866) et Muse Wonder Full (1 857). L'écart avec le leader n'est que de 20 Elo.

Sur Terminal-Bench 4.0, le modèle obtient 67% et devance tous les autres, y compris Claude Sonnet 5.5 et ses 64%. À titre de comparaison, Kimi K3 ne résolvait ici que 13% des tâches. Une telle progression en une seule mise à jour indique un travail ciblé sur le comportement du modèle en ligne de commande : planification des étapes, correction des erreurs et achèvement des tâches jusqu'au bout.

AutomationBench-AA, qui teste des scénarios agentiques dans des produits SaaS, passe de 58% à 73%.

Hallucinations et sciences : des progrès plus modestes

Sur les autres tests, les gains restent modérés. Humanity's Last Exam passe de 47% à 52%, CritPt de 23% à 25%, SciCode de 59% à 61%. Le bond sur les agents apparaît comme le principal pari de cette version, plutôt que comme une hausse homogène de l'intelligence.

La fiabilité des réponses évolue de façon plus nette. L'AA-Omniscience Index passe de 20 à 30 : le taux d'hallucinations recule de 53% à 44%, et la précision progresse de 48% à 51%. Le modèle admet plus souvent qu'il ne connaît pas la réponse au lieu de l'inventer. Pour des agents qui appellent eux-mêmes des outils et écrivent dans des systèmes de production, c'est une amélioration importante.

Coût par tâche et question des poids

K3.1 Pro consomme 55K tokens de sortie par tâche de l'Intelligence Index. Kimi K3 en utilisait 48K, soit 14% de moins. En contrepartie, Moonshot a baissé ses prix de 33% sur ses trois tarifs : $2 par million de tokens d'entrée, $10 par million de tokens de sortie et $0,20 pour les hits de cache. Résultat, le coût d'exécution d'une tâche reste presque inchangé, à $1,98. Le modèle est nettement plus puissant, et son prix à payer reste le même.

Caractéristiques clés :

• Intelligence Index : 55 points, 4e place (Kimi K3 : 44)
• GDPval-AA : 1 846 Elo, 3e place, +312 par rapport à K3
• Terminal-Bench 4.0 : 67% (K3 : 13%), meilleur résultat parmi les modèles
• AutomationBench-AA : 73% (contre 58% auparavant)
• AA-Omniscience Index : 30 (contre 20 auparavant), hallucinations à 44%
• Taille : 2,8T de paramètres au total, 104B actifs
• Contexte : 1M de tokens, entrée : texte et images
• Prix : $2 / $10 / $0,20 par 1M de tokens (entrée / sortie / cache)
• Coût d'une tâche : $1,98

Ce qu'il faut vérifier avant de passer à K3.1 Pro

Les équipes qui développent des agents de code et d'automatisation obtiennent une alternative économique aux modèles fermés. Sur Terminal-Bench 4.0, K3.1 Pro dépasse Claude Sonnet 5.5, tandis que sur GDPval-AA il reste à 20 Elo du leader. Ses tokens coûtent par ailleurs nettement moins cher. Mais le modèle consomme 14% de tokens de sortie de plus que son prédécesseur : il faut donc raisonner en coût par tâche, et pas seulement en prix par million de tokens.

La seconde question concerne les poids eux-mêmes. Tant qu'ils ne sont pas publiés, le modèle n'est accessible que via l'API de Moonshot. Héberger soi-même un modèle de 2,8T de paramètres dont 104B actifs exigera un cluster sérieux. Les premiers bénéficiaires de l'ouverture des poids seront donc les fournisseurs cloud et les grandes entreprises dotées de leur propre infrastructure. Pour les autres, l'enjeu est ailleurs : la pression sur les prix des laboratoires fermés s'accentue, puisque l'écart de qualité est tombé à 3 points.

Avant toute migration, il convient de tester le modèle sur ses propres scénarios agentiques. Les benchmarks indiquent la classe d'un modèle, mais ne remplacent pas une vérification sur des tâches réelles. Il faut aussi prêter une attention particulière au taux d'hallucinations : 44% reste une valeur élevée.