Kimi publie PerceptionBench : aucune des 16 MLLM n'atteint 60%

L'équipe Kimi de Moonshot AI a publié PerceptionBench, un benchmark de 3000 questions vérifiées qui mesure une seule chose : ce qu'un modèle multimodal voit réellement sur une image. Parmi les seize MLLM de pointe, aucune n'a atteint 60% de précision. En moyenne, les modèles peinent surtout sur les hallucinations liées à la perception. Le jeu de données et le code d'évaluation sont ouverts sur GitHub.

Une taxonomie tirée des échecs, pas de la théorie

D'ordinaire, on définit d'abord un ensemble de compétences, puis on écrit les questions qui vont avec. Les auteurs de PerceptionBench ont fait l'inverse. Ils sont partis des erreurs de modèles de pointe sur 42 benchmarks existants et ont identifié, pour chacune, la toute première étape fautive. L'erreur est venue en premier, la catégorie ensuite. Dix capacités atomiques en sont sorties.

Ils ont ensuite sélectionné les échecs les plus révélateurs et les ont décomposés en sous-questions simples. Une partie des questions a été écrite de zéro sur des images supplémentaires. Le pool interne est monté à plus de 17 000 questions vérifiées (17 000+). La version publiée en retient 3000 : 60% proviennent de la décomposition d'erreurs réelles des modèles, 40% ont été rédigées à neuf. Les catégories ont été équilibrées en volume, et la difficulté a été stratifiée.

La règle centrale : la réponse se trouve d'un coup d'œil, sans raisonnement ni connaissances externes. L'annonce donne plusieurs exemples : sur quelle graduation horaire du cadran se trouve le symbole Gemini, combien de pots de plantes figurent dans le cadre (les reflets dans la vitre ne comptent pas), lequel des huit fragments comble la découpe dans un motif, ce qui est apparu sur la deuxième photo de la même scène.

Autre constat : les benchmarks sources se recoupent peu. Le Jaccard pondéré moyen par paires est de 0,20. Chacun capture une tranche étroite des erreurs de perception, et aucun ne couvre l'ensemble.

Dix catégories et leur poids

Les 3000 questions de la version publiée se répartissent ainsi :

• Depth & 3D — 330 (11,00%)
• Visual Counting — 330 (11,00%)
• Visual Relation — 330 (11,00%)
• Visual Attribute — 330 (11,00%)
• Visual Localization — 330 (11,00%)
• Fine-grained Recognition — 290 (9,67%)
• Visual Comparison — 279 (9,30%)
• Hallucination — 271 (9,03%)
• Context Integration — 255 (8,50%)
• OCR — 255 (8,50%)

Les tests visent des vulnérabilités précises. On demande aux modèles de lire le texte blanc le plus grand en respectant la casse et la ponctuation, ou de retrouver un texte à partir de coordonnées normalisées. Ils comptent les cubes d'une pile, y compris les cubes invisibles, et comparent l'épaisseur des lignes d'un graphique. La catégorie Hallucination fonctionne autrement : dans les questions sur les tables blanches d'un bureau ou sur les logos avec un chien parmi 15 motifs, la bonne réponse est zéro. Un modèle qui a tendance à « inventer » des objets se trompe ici.

Ce que montrent les résultats et comment s'en servir

Voici les conclusions de l'annonce. Aucun des seize participants n'a atteint 60%. Les hallucinations de perception se révèlent la capacité la plus faible en moyenne. Des modèles dont le score global est presque identique divergent nettement sur ce qu'ils distinguent réellement. Pour choisir un modèle, c'est important : le score global masque le profil, et le profil détermine où le modèle va casser sur votre tâche.

Le texte disponible de l'annonce ne contient pas de tableau de résultats par modèle ; il faut donc consulter le dépôt pour connaître les classements précis. Le benchmark a été publié par Moonshot elle-même, qui est l'un des acteurs de ce marché. Mieux vaut donc le revérifier sur vos propres données plutôt que le tenir pour un arbitrage indépendant.

La conclusion pratique pour les équipes qui intègrent des MLLM dans leurs produits est simple. Si vous construisez un flux documentaire, regardez l'OCR et la Localization. Pour la robotique et la navigation, Depth & 3D et Visual Relation comptent davantage. Pour le commerce de détail et l'inventaire, le Counting est critique. Pour tout ce dont une erreur coûte de l'argent, la catégorie Hallucination est indispensable : elle montre à quel point le modèle a tendance à voir ce qui n'existe pas. Le code d'évaluation est ouvert : passer les candidats au crible des catégories et comparer leurs profils peut se faire en une soirée. C'est plus fiable que de s'en remettre à un unique chiffre de classement.