Avaliar modelos de IA já custa mais que treiná-los, e isso cria uma nova barreira para pesquisadores

Rodar uma avaliação completa de um agente de IA em 2026 custa de US$ 2.800 a US$ 40.000 por execução. A EvalEval Coalition publicou um extenso relatório: o benchmarking deixou de ser uma linha no orçamento ao lado do treinamento do modelo e se tornou uma barreira computacional e financeira por conta própria, com todas as consequências disso para a independência da avaliação.

Os números dos benchmarks

Os pesquisadores reuniram dados concretos sobre oito sistemas de avaliação amplamente usados:

• HAL (leaderboard abrangente de agentes): US$ 40.000 por 21.730 execuções com 9 modelos e 9 benchmarks
• GAIA: até US$ 2.829 por execução sem cache
• PaperBench: de US$ 4.200 a US$ 9.500, dependendo do protocolo
• The Well (ML para problemas de física): ~US$ 2.400 por arquitetura, ~US$ 9.600 por um sweep completo
• MLE-Bench: ~US$ 5.500 por seed (75 tarefas do Kaggle × 24 horas de GPU + API)

Uma única execução do GAIA equivale ao orçamento anual típico de viagens de um doutorando. Comparar seis modelos com três execuções por seed custa cerca de US$ 150.000. Alguns benchmarks exigem treinamento de verdade, e nesses casos o custo computacional da avaliação supera o do próprio treinamento em cerca de cem vezes.

Por que testes de agentes não podem ser comprimidos

Para benchmarks estáticos de linguagem, a compressão funciona há tempos: o Flash-HELM reduz o teste de 100 a 200 vezes sem perder precisão no ranking, e o tinyBenchmarks cortou o MMLU de 14.000 exemplos para 100, com erro de cerca de 2%.

Os benchmarks de agentes resistem às mesmas técnicas. O custo das tarefas dentro de um único teste de agentes varia em até 10.000 vezes. E as tarefas caras não entregam resultados proporcionalmente mais precisos: no Mind2Web, uma diferença de preço de 9× corresponde a uma diferença de precisão de apenas 2%. O ganho máximo de compressão é de 2 a 3,5 vezes, duas ordens de grandeza pior que nos benchmarks estáticos.

A confiabilidade adiciona outro multiplicador. No τ-bench, o mesmo modelo marcou 60% em uma execução e apenas 25% em oito. Uma medição estatisticamente confiável exige no mínimo k=8 repetições, multiplicando o custo por 8: um teste de US$ 10.000 vira um de US$ 80.000.

"Costuma-se achar que o principal limite é a capacidade do modelo.

Mas a avaliação aponta que o verdadeiro gargalo é a confiabilidade", diz a EvalEval Coalition.

A verificação independente vira privilégio

Quando três execuções por seed para seis modelos custam US$ 150.000, os grupos acadêmicos ficam de fora. Só os grandes laboratórios têm orçamento para uma avaliação estatisticamente confiável, e são justamente eles que criam os sistemas avaliados. É um conflito de interesses estrutural: a verificação externa desaparece não porque ninguém a queira, mas porque ninguém consegue pagar por ela.

A EvalEval Coalition propõe uma resposta pragmática: parar de rodar os mesmos testes repetidamente. Hoje cada grupo começa do zero, porque os resultados dos outros estão enterrados em artigos em PDF sem dados legíveis por máquina. A coalizão lançou o Every Eval Ever, um repositório no Hugging Face que recebe resultados com metadados completos, logs e parâmetros. Pelos cálculos do grupo, até um reaproveitamento duplo dos dados economizaria mais que todas as técnicas de compressão somadas.

O que isso significa

A economia da avaliação de IA virou de cabeça para baixo: avaliar deixou de ser uma linha menor do orçamento e passou a ser uma despesa operacional de primeira ordem e uma ferramenta de influência. Quem pode pagar por um benchmark escreve o leaderboard. Se a verificação independente continuar encarecendo, o controle externo sobre os sistemas de IA corre o risco de ficar inteiramente nas mãos dos laboratórios que os criam.