Moonshot publie WorldVQA : 3500 questions sur le monde qui mettent les modèles en échec

Kimi Team, l'équipe de Moonshot AI, a publié WorldVQA, un benchmark qui évalue les connaissances visuelles du monde des modèles de langage multimodaux. Le jeu de données compte 3500 paires « image — question », chacune assortie d'une seule réponse vérifiable. Le principe du test est simple : le modèle reconnaît-il réellement l'objet précis présent sur l'image, ou complète-t-il sa réponse à partir de motifs visuels familiers ? D'après les auteurs, sur les connaissances rares, dites de « longue traîne », même les modèles de pointe n'atteignent souvent pas 50% de précision. Le jeu de données et les scripts d'évaluation sont publiés, accompagnés d'un article sur arXiv.

Ce que contient le jeu de données

Les questions sont conçues pour tester l'étendue des connaissances encyclopédiques, et non le raisonnement sur l'image. Les auteurs ont exclu les questions subjectives et les scènes ambiguës. Toutes les images et toutes les paires « question — réponse » ont passé une vérification manuelle en plusieurs étapes.

Les exemples donnent la mesure de l'éventail : identifier une espèce d'oiseau (Chestnut Shortwing), une fleur (freesia), un site naturel (le cap de Bonne-Espérance), le ballet « Le Lac des cygnes », un personnage de jeu vidéo, l'anime « Your Name » (« Ton nom »), le logo d'EgyptAir. Certaines requêtes exigent une précision maximale, comme nommer un gadget grand public avec son modèle exact, jusqu'à l'iPhone 17 Pro. Une partie des questions est formulée en chinois : elles portent sur un ancien temple bouddhiste, une pièce de musée de l'époque des Royaumes combattants, le chasseur J-20 ou un stade de Shanghai.

Paramètres clés du jeu de données :

• 3500 paires « image — question » ;
• 2240 questions en anglais (64%) et 1260 en chinois (36%) ;
• 9 catégories, de la nature et de l'architecture aux marques, au sport et aux personnalités publiques ;
• difficulté : 31,16% de questions faciles, 40,77% de moyennes et 28,07% de difficiles ;
• séparation entre Head (connaissances courantes) et Tail (connaissances rares), afin de voir comment la qualité chute à mesure que l'objet devient moins « populaire ».

Les plus grandes catégories sont « Lieux et architecture » (14,63%), « Divertissement et médias » (14,60%), « Culture et art » (14,46%) et « Personnalités publiques » (14,29%). La plus petite est le sport, avec 4,06%.

Le problème ne tient pas qu'à la précision, mais aussi à l'autoévaluation

La seconde partie de l'étude porte sur la calibration : dans quelle mesure la confiance déclarée par le modèle correspond à la part réelle de réponses justes. Deux métriques sont utilisées. L'ECE (Expected Calibration Error) mesure l'écart moyen entre la confiance et la précision ; l'idéal est 0. Le Slope (pente moyenne pondérée) indique dans quelle mesure la précision suit la confiance ; l'idéal est 1,0.

Le résultat est le même pour tous les modèles testés : une surconfiance systématique. La plupart des prédictions se concentrent dans la plage de 90–100% de confiance déclarée, alors que la précision réelle est nettement inférieure. Les meilleurs scores sur les deux métriques reviennent au modèle des auteurs, Kimi-K2.5 : ECE de 37,9% et Slope de 0,550. C'est le meilleur résultat de la comparaison, mais l'idéal reste loin : avec une calibration parfaite, l'ECE serait proche de zéro et le Slope proche de un. Les auteurs reconnaissent eux-mêmes que les modèles sont encore loin d'être « honnêtes » et cohérents avec les limites de leurs propres connaissances.

Ce qu'il faut en retenir en pratique

Pour les équipes qui intègrent des modèles multimodaux dans leurs produits, l'enseignement principal concerne la confiance accordée aux réponses. Lorsqu'un modèle nomme un modèle de voiture, une espèce végétale, un logo ou une œuvre d'art, une confiance élevée dit peu de choses sur la justesse de la réponse. C'est d'autant plus vrai pour les objets rares : c'est là que la précision chute, tandis que la confiance reste élevée.

Ce qu'il convient de faire concrètement :

• tester sur WorldVQA ses modèles candidats si le produit repose sur la reconnaissance d'entités précises, en examinant séparément Head et Tail ;
• ne pas utiliser l'autoévaluation du modèle comme unique filtre : dans les scénarios où une erreur coûte cher, ajouter une vérification externe ou une recherche dans une base de données ;
• pour les tâches en chinois, tenir compte de la part de questions chinoises dans le test (36%) plutôt que de se limiter aux métriques en anglais ;
• examiner l'ECE et le Slope avec autant d'attention que la précision brute.

Selon les auteurs, améliorer le score sur WorldVQA est une étape nécessaire pour la prochaine génération d'agents IA : un agent qui identifie mal un objet tout en restant sûr de lui se trompe précisément là où il agit de manière autonome. L'ouverture des données et des scripts permet aux autres laboratoires de comparer leurs modèles sur une même échelle.