Claude Fable 5.2 en tête du benchmark MKA avec 57 %, mais la tâche coûte 31,97 $

La plupart des benchmarks d'agents continuent de mesurer la façon dont un modèle écrit du code ou navigue sur des sites web. Le travail de bureau réel est différent : un ingénieur reçoit un plan d'architecte, un analyste reçoit un scan de document, et on n'attend pas d'eux une réponse dans un chat, mais un fichier prêt à l'emploi. C'est précisément ce que teste MKA (Multimodal Knowledge Agent), le nouveau benchmark de Google DeepMind, qu'Artificial Analysis a lancé en exclusivité sur sa plateforme.

Ce qui est testé exactement

Le benchmark comprend 200 tâches fermées issues de 10 secteurs. L'agent travaille avec des supports visuels denses : plans d'architecte, schémas d'ingénierie, scanners cliniques. En sortie, il doit produire l'un des six types de fichiers : présentation, tableur, PDF, document Word, fichier texte ou image annotée.

La principale différence avec beaucoup d'autres tests tient au fait que l'image n'est pas ici un simple contexte supplémentaire. Sans une analyse attentive des fichiers visuels, la tâche est impossible à résoudre. Si vous développez un agent pour une entreprise de construction ou une clinique, ce test est plus proche de votre réalité qu'un énième jeu de tâches de code.

Chaque tâche est évaluée selon des grilles d'experts, avec en moyenne environ 70 critères pondérés. Les critères se répartissent en deux groupes. « Regression » regroupe les vérifications de base que le modèle doit obligatoirement réussir. « Climb » regroupe les vérifications difficiles qui séparent les modèles solides des modèles moyens. La métrique principale, Climb WSR, indique la part pondérée de critères difficiles satisfaits.

Le test s'exécute dans le framework agentique ouvert Stirrup : l'agent dispose de l'exécution de code, de la recherche web, du chargement de pages et de la visualisation d'images, avec jusqu'à 250 tours. Le résultat est vérifié par un agent juge basé sur GPT-6 Luna (medium).

Qui est en tête et combien cela coûte

En première place, Claude Fable 5.2 (max) avec un Climb WSR de 57 %. Suivent Gemini 4 Carbon (high) avec 54 % et Claude Opus 5.5 (max) avec 53 %. À regarder les chiffres avec lucidité, le meilleur modèle ne satisfait qu'un peu plus de la moitié des critères difficiles. On est loin d'un remplacement fiable d'un spécialiste pour ce type de travail.

Le prix est ce qui frappe le plus. Fable 5.2 dépense en moyenne 31,97 $ par tâche. C'est plus de 5 fois plus cher que Gemini 4 Carbon (6,29 $) pour environ deux points de qualité supplémentaires. Et environ 29 fois plus cher que GPT-6.1 Sol (1,11 $). Les quatre modèles OpenAI testés (GPT-6 Astra, GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Luna) se situent sur la frontière de Pareto prix-qualité, en dessous de Carbon. Claude Haiku 5.5 et MiMo-V2.6-Pro y figurent également.

La frontière de Pareto signifie ici une chose simple : ces modèles ne peuvent pas être remplacés par un autre qui serait à la fois moins cher et meilleur.

Pas de vainqueur universel

Selon les secteurs, le tableau est contrasté :

• Claude Fable 5.2 domine dans cinq verticales : Software & Data, Engineering, Logistics & Mapping, Business et Finance (cette dernière partagée avec Claude Sonnet 5.5).
• Claude Opus 5.5 est en tête dans l'éducation et la construction.
• Gemini 4 Argon gagne en sciences, Gemini 4 Carbon en santé.
• Claude Sonnet 5.5 mène de peu dans le droit et le secteur public.

Selon les types de fichiers de sortie, l'écart est plus faible que selon les secteurs. Fable 5.2 est en tête sur le PDF, le Word, les tableurs (avec une avance minimale) et les présentations (à égalité avec Opus 5.5). Gemini 4 Argon et Carbon sont les meilleurs sur les images, et DeepSeek V4.1 Flash 1017 sur les fichiers texte. Les formats les plus difficiles sont Word et les fichiers texte : aucun modèle ne dépasse 52 %.

Que faire de ces résultats

Première conclusion pour les product managers : ne choisissez pas un modèle d'après le classement général. Si votre cas d'usage relève de la médecine ou des documents juridiques, le leader peut être différent, et il vaut la peine de tester le modèle précisément sur votre verticale.

Deuxième conclusion : comptez le coût par tâche, et non par token. Un modèle à 1,11 $ par tâche peut s'avérer plus judicieux qu'un modèle à 31,97 $ si l'écart de qualité tient en quelques points et qu'un humain vérifie de toute façon le résultat.

Il y a aussi des limites. Les tâches sont fermées, il est donc impossible de reproduire les résultats soi-même. L'évaluation est elle aussi réalisée par un modèle, même si elle s'appuie sur des grilles d'experts. Le juge est GPT-6 Luna, et les modèles d'OpenAI figurent dans le même tableau : on ne peut donc pas exclure totalement un biais. Autre précision : le benchmark mesure la qualité des fichiers produits, pas la sécurité ni la vitesse d'exécution. Comme repère pour choisir un modèle destiné à un travail de bureau riche en contenu visuel, il est utile, mais mieux vaut prendre la décision finale après un essai sur vos propres fichiers.