Claude Fable 5.2 lidera o benchmark MKA com 57%, mas cada tarefa custa $31,97

A maioria dos benchmarks de agentes ainda avalia como o modelo escreve código ou navega em sites. O trabalho de escritório de verdade é diferente: o engenheiro recebe uma planta arquitetônica, o analista recebe o scan de um documento, e o que se espera deles não é uma resposta em um chat, mas um arquivo pronto. É isso que mede o MKA (Multimodal Knowledge Agent), novo benchmark do Google DeepMind que a Artificial Analysis lançou com exclusividade em sua plataforma.

O que exatamente é avaliado

O benchmark reúne 200 tarefas fechadas de 10 setores. O agente trabalha com materiais visuais densos: plantas arquitetônicas, esquemas de engenharia e exames clínicos. Na saída, ele precisa gerar um de seis tipos de arquivo: apresentação, planilha, PDF, documento Word, arquivo de texto ou imagem anotada.

A principal diferença em relação a muitos outros testes é que a imagem aqui não é apenas contexto adicional. Sem uma análise cuidadosa dos arquivos visuais, a tarefa não pode ser resolvida. Se você tem um agente para uma construtora ou uma clínica, este teste fica mais perto da sua realidade do que mais um conjunto de tarefas de programação.

Cada tarefa é avaliada por rubricas elaboradas por especialistas, com em média cerca de 70 critérios ponderados. Os critérios se dividem em dois grupos. O «Regression» reúne verificações básicas que o modelo é obrigado a cumprir. O «Climb» reúne verificações difíceis, que separam os modelos fortes dos medianos. A métrica principal, Climb WSR, mostra a fração ponderada dos critérios difíceis atendidos.

A execução usa o framework agêntico aberto Stirrup. O agente tem execução de código, busca na web, carregamento de páginas e visualização de imagens, com até 250 turnos. O resultado é verificado por um juiz agêntico baseado no GPT-6 Luna (medium).

Quem está na frente e quanto custa

Em primeiro lugar está o Claude Fable 5.2 (max), com Climb WSR de 57%. Em seguida vêm o Gemini 4 Carbon (high), com 54%, e o Claude Opus 5.5 (max), com 53%. Olhando os números com frieza, o melhor modelo cumpre pouco mais da metade dos critérios difíceis. Ainda falta muito para substituir com segurança um especialista nesse tipo de trabalho.

O que mais chama a atenção é o preço. O Fable 5.2 gasta em média $31,97 por tarefa. É mais de 5 vezes o custo do Gemini 4 Carbon ($6,29), por cerca de dois pontos a mais de qualidade. E é aproximadamente 29 vezes o custo do GPT-6.1 Sol ($1,11). Os quatro modelos da OpenAI testados (GPT-6 Astra, GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Luna) ficam na fronteira de Pareto entre preço e qualidade, abaixo do Carbon. O Claude Haiku 5.5 e o MiMo-V2.6-Pro também estão nessa fronteira.

A fronteira de Pareto, aqui, significa algo simples: esses modelos não podem ser trocados por outro que seja, ao mesmo tempo, mais barato e melhor.

Não há um vencedor universal

Por setor, o quadro é variado:

• O Claude Fable 5.2 lidera em cinco verticais: Software & Data, Engineering, Logistics & Mapping, Business e Finance (esta última dividida com o Claude Sonnet 5.5).
• O Claude Opus 5.5 está na frente em educação e construção.
• O Gemini 4 Argon vence em ciência, e o Gemini 4 Carbon, em saúde.
• O Claude Sonnet 5.5 lidera por pequena margem em direito e setor público.

Por tipo de arquivo de saída, a dispersão é menor do que por setor. O Fable 5.2 está na frente em PDF, Word, planilhas (por margem mínima) e apresentações (junto com o Opus 5.5). O Gemini 4 Argon e o Carbon são os melhores com imagens, e o DeepSeek V4.1 Flash 1017, com arquivos de texto. Os formatos mais difíceis são Word e arquivos de texto: nenhum modelo passou de 52%.

O que fazer com isso

A primeira conclusão, para quem toca produto: não escolha o modelo pelo ranking geral. Se o seu caso de uso é medicina ou documentos jurídicos, o líder pode ser outro, e vale testar o modelo na sua própria vertical.

A segunda: faça a conta por tarefa, não por token. Um modelo de $1,11 por tarefa pode ser a escolha mais sensata do que um de $31,97, se a diferença de qualidade ficar em alguns pontos e uma pessoa for revisar o resultado de qualquer forma.

Há também limitações. As tarefas são fechadas, então não é possível reproduzir os resultados por conta própria. A avaliação também é feita por um modelo, ainda que com rubricas de especialistas. O juiz é o GPT-6 Luna, e os modelos da OpenAI participam da mesma tabela, por isso não dá para descartar totalmente algum viés. Outro ponto: o benchmark mede a qualidade dos arquivos finais, não a segurança nem a velocidade de execução. Como referência para escolher um modelo para trabalho de escritório com muito conteúdo visual, ele é útil, mas a decisão final é melhor tomada depois de rodar testes com os seus próprios arquivos.