Moonshot publie Kimi Vendor Verifier : 6 tests pour contrôler les fournisseurs de K2.6

Avec le modèle Kimi K2.6, Moonshot AI a mis en accès libre Kimi Vendor Verifier (KVV), un jeu de tests qui mesure la fidélité avec laquelle les fournisseurs tiers reproduisent le comportement du modèle. Un passage complet prend environ 15 heures sur deux serveurs équipés chacun de huit NVIDIA H20. Les résultats de référence de l'API Kimi officielle sont de 91.0 sur OCRBench, 98.4 sur AIME2025 (avg@32) et 78.8 sur MMMU Pro Vision. Chacun peut désormais y comparer son propre déploiement.

D'où vient le problème

Après la sortie de K2 Thinking, Moonshot a commencé à recevoir régulièrement des plaintes sur des résultats de benchmarks étranges. L'analyse a montré qu'une part notable des cas tenait à de mauvais paramètres de décodage. La première ligne de défense a été posée au niveau de l'API : en mode Thinking, Temperature=1.0 et TopP=0.95 sont imposés, et le système vérifie aussi que le contenu des « raisonnements » est correctement renvoyé dans la requête.

Des anomalies plus subtiles sont ensuite apparues. Dans l'un des tests sur LiveBenchmark, une API tierce était nettement en retrait par rapport à l'API officielle. La comparaison de plusieurs fournisseurs d'infrastructure a montré que cet écart se retrouve partout. La conclusion du blog de Moonshot : plus les poids sont libres et plus les canaux de déploiement sont variés, plus la qualité est difficile à contrôler. Si l'utilisateur ne distingue pas un défaut du modèle d'une erreur d'implémentation, la confiance dans les modèles ouverts s'effondre.

Six vérifications

Le jeu est conçu pour que chaque test détecte une classe précise de défaillances :

• Pre-Verification vérifie que l'API respecte réellement les contraintes sur temperature, top_p et les autres paramètres. Sans réussite à cette étape, on ne va pas plus loin.
• OCRBench sert de test de fumée de cinq minutes pour le pipeline multimodal.
• MMMU Pro vérifie le prétraitement des images sur des entrées visuelles variées.
• AIME2025 impose une génération longue. Elle révèle des bugs de KV-cache et des dégradations dues à la quantification, que les tests courts ne voient pas.
• K2VV ToolCall mesure la stabilité du déclenchement des appels d'outils (F1) et la précision du JSON Schema. Dans les agents, les erreurs d'outils s'accumulent : mieux vaut les détecter tôt.
• SWE-Bench teste le code agentique complet. Il n'a pas été intégré au code ouvert, car il dépend d'un bac à sable.

Parallèlement, Moonshot travaille avec les communautés vLLM, SGLang et KTransformers pour corriger les causes profondes dans les moteurs d'inférence, et pas seulement constater les symptômes. L'entreprise donne en outre aux fournisseurs un accès anticipé aux modèles avant leur sortie, afin qu'ils aient le temps de valider leurs stacks. Un classement public des fournisseurs est également promis. L'idée est que la transparence pousse les fournisseurs à surveiller la précision.

Le coût de la vérification et la marche à suivre

Moonshot a exécuté l'ensemble du processus sur deux serveurs de 8 NVIDIA H20 ; l'exécution séquentielle a pris environ 15 heures. Les scripts sont optimisés pour l'inférence longue : sortie en streaming, relances automatiques et reprise depuis un point de contrôle. C'est important, car un passage sur AIME2025 avec une limite d'environ 98 000 tokens peut facilement être interrompu par une panne réseau.

Les réglages de référence figurent dans le tableau des résultats officiels : Temperature 1.0, TopP 0.95, limites de tokens de 16 384 pour OCRBench, 98 304 pour AIME2025 et 65 536 pour MMMU Pro Vision.

Pour les équipes qui utilisent K2.6 chez un fournisseur tiers, la marche à suivre est simple. Lancer d'abord Pre-Verification, puis le test de fumée OCRBench, et seulement ensuite les longs tests coûteux. Un écart par rapport aux références de 91.0, 98.4 et 78.8 doit d'abord être recherché dans les paramètres de décodage, la quantification et la gestion du contexte long. Conclure à une faiblesse du modèle lui-même doit venir en dernier.

Pour les fournisseurs, KVV offre une checklist prête à l'emploi avant le lancement. Moonshot reconnaît toutefois que la couverture des fournisseurs reste incomplète et cherche des tests agentiques plus légers. En l'absence de tels tests, SWE-Bench reste le maillon de vérification le plus strict, mais impossible à reproduire de manière autonome.