VIALS-AA: Gemini 4 Carbon resolve 64% das tarefas científicas com imagens; GPT-6.1 Sol é 30 vezes mais barato

Se você está criando um agente que interpreta gráficos científicos, géis ou microfotografias, a questão não é apenas qual modelo é mais inteligente. Também importam a consistência das respostas e o custo. A Artificial Analysis lançou o VIALS-AA, sua implementação do benchmark da Handshake AI, e os resultados diferem consideravelmente dos rankings habituais.

Como o teste funciona

O benchmark inclui 161 tarefas com imagens científicas: eletroforese em gel, restrição de plasmídeos, contagem de contatos hidrofóbicos, árvores filogenéticas e citometria de fluxo. Cada modelo resolve cada tarefa três vezes no ambiente aberto Stirrup. Ele oferece execução de código e uma ferramenta de visualização de imagens. A principal métrica é pass^3, ou seja, a proporção de tarefas em que as três execuções foram corretas. A lógica é simples: na ciência, uma resposta que muda de uma execução para outra leva a conclusões incorretas e a experimentos repetidos e caros.

O que os resultados mostraram

O Gemini 4 Carbon (high) ocupa o primeiro lugar com 64%: resolveu de forma consistente 103 das 161 tarefas. O GPT-6 Astra (max) ficou em segundo, duas tarefas atrás. A fronteira de Pareto entre preço e qualidade é formada por Gemini 4 Carbon, GPT-6 Luna, GPT-6.1 Sol, GPT-6.1 Terra e GPT-6 Astra.

Os custos variam radicalmente. O GPT-6 Luna custa $0,02 por tarefa, enquanto o Grok 4.7 (xhigh) custa $1,77. O GPT-6.1 Sol alcança 59% por $0,06, enquanto o Claude Opus 5.5, com resultado semelhante de 61%, custa cerca de trinta vezes mais.

A segunda descoberta é que esforço não equivale a precisão. Claude Sonnet 5.5 e GPT-6.1 Sol alcançam 60% e 59%, respectivamente, mas o Sonnet faz 3,6 vezes mais chamadas de ferramentas e usa cerca de 63,5 mil tokens de saída, contra aproximadamente 2,5 mil do Sol. O Claude faz medições ativamente: calibra pela escada de marcadores e interpola a massa molecular. O GPT recorre com mais frequência a uma inspeção visual rápida, e ambas as abordagens funcionam.

Onde os modelos erram

No exemplo da banda de proteína nº 22, o Grok 4.7 usou 27 etapas e 20 visualizações da imagem, mas respondeu 50–70 kDa em vez do intervalo correto de 40–50. Pela trajetória, ele se fixou no rótulo “22” e na seta, e não na própria banda tênue. O Sonnet separou os dois elementos: o rótulo estava em torno de 53 kDa, e a banda, em torno de 48,7 kDa.

Ainda mais interessante é o experimento com o GLM-5.3, que não possui visão nativa. O modelo carregou a imagem em matrizes, aplicou limiares às regiões, executou OCR e imprimiu mapas de texto. O GLM-5.3 (max) usou 54 etapas e 57 chamadas de código, mas respondeu incorretamente. Já o GLM-5.3-Flash, mais leve, resolveu a tarefa em 30 etapas, com dez visualizações da imagem.

A estabilidade importa mais do que um sucesso isolado

Os melhores modelos abertos, como Kimi K3.1 Pro, MiMo-V2.6-Pro e MiniMax-M3.1-Flash, resolvem ao menos uma vez entre 114 e 119 tarefas, enquanto os sete melhores modelos fechados resolvem entre 111 e 118. No entanto, as três execuções são bem-sucedidas em apenas 48–73 tarefas para os modelos abertos, contra 95–103 para os fechados. O Kimi K3.1 Pro registra 45% em pass^3, contra 63% do GPT-6 Astra, embora seus resultados em pass@3 sejam próximos.

Outro detalhe: 86,7% das chamadas do Gemini 3.8 Flash são chamadas “vazias”, nas quais o código é usado como bloco de notas para o raciocínio.

O que fazer com essas informações

• Compare os modelos por pass^k, não pela melhor tentativa. A reprodutibilidade é importante em produção.
• Calcule o custo por tarefa, não por token: a diferença entre modelos com qualidade semelhante chega a 18–30 vezes.
• Não considere o número de etapas e ferramentas um sinal de qualidade. Trajetórias longas muitas vezes reforçam o erro inicial.
• Analise a divisão por domínio: o Opus lidera em blotting, o Sonnet em contagem de células e o Terra em estruturas de proteínas.

Limitações: o benchmark é pequeno, com 161 tarefas, e parte dos resultados foi obtida em modelos que não possuem API pública. A avaliação depende do ambiente Stirrup específico, e a ordem pode mudar em outro ambiente. Ainda assim, como exemplo de uma avaliação honesta da confiabilidade e do custo dos agentes, o VIALS-AA é útil para quem escolhe um modelo para pipelines científicos.