Claude Fable 5.2 lidera el benchmark MKA con un 57%, pero cada tarea cuesta $31,97

La mayoría de los benchmarks de agentes siguen midiendo cómo escribe código un modelo o cómo navega por sitios web. El trabajo de oficina real es distinto: un ingeniero recibe un plano arquitectónico, un analista recibe el escaneo de un documento, y de ambos se espera no una respuesta en un chat, sino un archivo terminado. Eso es justo lo que evalúa MKA (Multimodal Knowledge Agent), el nuevo benchmark de Google DeepMind que Artificial Analysis ha lanzado en exclusiva en su plataforma.

Qué se evalúa exactamente

El benchmark reúne 200 tareas cerradas de 10 sectores. El agente trabaja con material visual denso: planos arquitectónicos, esquemas de ingeniería y escáneres clínicos. Como resultado, debe producir uno de seis tipos de archivo: presentación, hoja de cálculo, PDF, documento de Word, archivo de texto o imagen anotada.

La diferencia principal respecto a muchas otras pruebas es que aquí la imagen no es un simple contexto adicional. Sin un análisis atento de los archivos visuales, la tarea no se puede resolver. Si tiene un agente para una constructora o una clínica, este test se acerca más a su realidad que otro conjunto de tareas de programación.

Cada tarea se puntúa con rúbricas de expertos, con una media de unos 70 criterios ponderados. Los criterios se dividen en dos grupos. «Regression» son comprobaciones básicas que el modelo debe superar sí o sí. «Climb» son comprobaciones difíciles que separan a los modelos fuertes de los medios. La métrica principal, Climb WSR, muestra la proporción ponderada de criterios difíciles cumplidos.

La ejecución se realiza en Stirrup, un entorno de agentes abierto: el agente dispone de ejecución de código, búsqueda web, carga de páginas y visualización de imágenes, con hasta 250 turnos. El resultado lo revisa un juez agéntico basado en GPT-6 Luna (medium).

Quién lidera y cuánto cuesta

En primer lugar está Claude Fable 5.2 (max), con un Climb WSR del 57%. Le siguen Gemini 4 Carbon (high), con un 54%, y Claude Opus 5.5 (max), con un 53%. Si se miran las cifras con frialdad, el mejor modelo cumple apenas algo más de la mitad de los criterios difíciles. Aún queda mucho para que pueda sustituir de forma fiable a un especialista en este tipo de trabajo.

El precio es lo más revelador. Fable 5.2 gasta de media $31,97 por tarea. Es más de 5 veces más caro que Gemini 4 Carbon ($6,29) por unos dos puntos adicionales de calidad. Y unas 29 veces más caro que GPT-6.1 Sol ($1,11). Los cuatro modelos de OpenAI evaluados (GPT-6 Astra, GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Luna) se sitúan en la frontera de Pareto de precio y calidad por debajo de Carbon. También están en ella Claude Haiku 5.5 y MiMo-V2.6-Pro.

La frontera de Pareto significa aquí algo sencillo: a estos modelos no se les puede sustituir por otro que sea a la vez más barato y mejor.

No hay un ganador universal

Por sectores, el panorama es variado:

• Claude Fable 5.2 lidera en cinco verticales: Software & Data, Engineering, Logistics & Mapping, Business y Finance (esta última la comparte con Claude Sonnet 5.5).
• Claude Opus 5.5 va por delante en educación y construcción.
• Gemini 4 Argon gana en ciencia y Gemini 4 Carbon, en salud.
• Claude Sonnet 5.5 lidera por un margen pequeño en derecho y sector público.

Por tipo de archivo de salida, la dispersión es menor que por sectores. Fable 5.2 va primero en PDF, Word, hojas de cálculo (con una ventaja mínima) y presentaciones (junto con Opus 5.5). Gemini 4 Argon y Carbon son los mejores con imágenes, y DeepSeek V4.1 Flash 1017, con archivos de texto. Los formatos más difíciles son Word y los archivos de texto: ningún modelo supera el 52%.

Qué hacer con estos resultados

Primera conclusión para los responsables de producto: no elijan modelo por la clasificación general. Si su caso de uso es la medicina o los documentos jurídicos, el líder puede ser otro, y conviene probar el modelo precisamente en su vertical.

Segunda conclusión: cuenten el dinero por tarea, no por token. Un modelo de $1,11 por tarea puede ser más sensato que uno de $31,97 si la diferencia de calidad se queda en unos pocos puntos y de todos modos una persona revisa el resultado.

Hay también limitaciones. Las tareas son cerradas, así que los resultados no se pueden reproducir por cuenta propia. Además, la evaluación la hace un modelo, aunque con rúbricas de expertos. El juez es GPT-6 Luna y los modelos de OpenAI participan en la misma tabla, por lo que no se puede descartar del todo un sesgo. Otra precisión: el benchmark mide la calidad de los archivos terminados, no la seguridad ni la velocidad. Como referencia para elegir un modelo para trabajo de oficina con mucho contenido visual es útil, pero la decisión final conviene tomarla tras una prueba con sus propios archivos.