ERB: agentes de IA montam seus próprios testes para modelos e concordam com o benchmark de referência em 75% dos pares

A autoaperfeiçoamento recursivo da IA esbarra em um problema pouco glamouroso: para saber se um modelo melhorou, é preciso rodá-lo em benchmarks pesados, o que sai caro e atrasa as iterações. Os humanos costumam contornar isso usando um subconjunto de tarefas ou montando um conjunto compacto. Os pesquisadores perguntaram se um agente consegue fazer isso sozinho e criaram o EvalResearchBench (ERB) para testar a ideia. Os melhores avaliadores que os agentes produziram dentro do orçamento disponível ordenam pares de modelos como os benchmarks-alvo em cerca de 75% dos casos. O teto é definido pela concordância entre os próprios testes-alvo: 91%.

Como o agente vira pesquisador de avaliação

No ERB, o agente, que os autores chamam de researcher, recebe os materiais-alvo, as referências de desenvolvimento, a lista de APIs candidatas disponíveis e limites fixos de tempo e de gastos com API. A partir daí, ele age como o engenheiro responsável pela qualidade dos testes. Ele escolhe tarefas prontas ou sintetiza novas, escreve os graders e executa rodadas-piloto. Com base nesses resultados, ajusta as tarefas e o código de verificação. No fim, o avaliador é congelado como um programa executável. São três domínios: programação, co-work e raciocínio.

A verificação se baseia em comparação. Nove agentes pesquisadores trabalharam com 13 modelos candidatos. Cada avaliador congelado foi confrontado com 14 benchmarks-alvo por duas métricas: consistência das pontuações finais e concordância por pares, ou seja, se os dois concordam sobre qual dos dois modelos é o melhor.

Onde a automação ainda fica devendo

Principais resultados do estudo:

• os melhores avaliadores acertam cerca de 75% dos pares de modelos, contra um teto de 91%;
• nenhum agente pesquisador lidera em todas as métricas;
• o melhor avaliador nos benchmarks-alvo disponíveis durante o desenvolvimento não é o melhor nos benchmarks fechados (sealed), que o agente não viu;
• a amostra humana de tarefas públicas continua sendo uma referência forte;
• o avaliador com o menor custo de execução registrado obteve a maior concordância por pares.

O segundo ponto mostra o clássico problema de sobreajuste aos referenciais disponíveis. O agente enxerga os alvos de desenvolvimento (development) e ajusta o avaliador a eles, mas a vantagem desaparece nos benchmarks ocultos. O último ponto é menos óbvio: mais computação gasta na avaliação não significa um ranking de modelos mais preciso. Provavelmente, o avaliador barato é mais simples, cabe melhor no orçamento e quebra com menos frequência ao longo do caminho.

Falhas típicas: respostas cortadas, orçamento esgotado e perguntas dominantes

Os agentes sabem corrigir suas tarefas e graders a partir do retorno das rodadas-piloto. Mesmo assim, os avaliadores prontos ainda sofrem com defeitos específicos. Eles podem cortar as respostas do modelo, e aí uma solução correta é contada como erro. Podem esgotar o orçamento de avaliação antes de terminar a execução. Por fim, podem permitir que algumas poucas perguntas determinem a nota final de um domínio inteiro, e o ruído de um par de tarefas vira "qualidade de raciocínio".

Esses erros não são exóticos. Qualquer equipe que já montou um conjunto de eval interno encontrou o limite de max_tokens cortando uma resposta ou um desequilíbrio nos pesos das tarefas. Os agentes reproduzem os mesmos tropeços humanos, mas em modo automático, onde não há ninguém para conferir.

Conclusão prática para equipes que constroem pipelines de eval

Por enquanto, o agente pesquisador não substitui o humano e funciona como um rascunho de avaliador. Se você automatiza a seleção de testes, mantenha um conjunto fechado de benchmarks que o agente não veja; do contrário, a escolha do melhor avaliador vira autoengano. A amostra humana de tarefas públicas deve continuar como ponto de controle: se o avaliador do agente não a supera na concordância por pares com os benchmarks-alvo, a automação não traz benefício algum.

Antes de congelar o avaliador, vale incluir verificações simples: se as respostas não estão sendo cortadas, se a execução cabe no orçamento e se algumas poucas perguntas não dominam o domínio. Por fim, trate o custo como uma métrica: segundo o ERB, um avaliador barato pode ranquear modelos tão bem quanto um caro, ou até melhor. Para uma indústria em que sistemas autoaperfeiçoáveis esbarram no preço do feedback, esse é um referencial concreto: 75% contra 91% mostra quanto ainda falta para ciclos autônomos em que a IA constrói a própria régua de medição.