Crítico independente eleva a precisão de agentes de código em 5.9–9.5 p.p.

Uma equipe de pesquisadores, entre eles Zhengxin Zhang, Erkang Zhu, Yin Lin, Claire Cardie, Bolin Ding e Jingren Zhou, testou qual é a melhor forma de organizar a verificação em arcabouços de agentes (agent harnesses). Eles compararam 17 esquemas em sete modelos de código de ponta e em dois benchmarks: Terminal-Bench (TB) e SWE-bench Verified (SWE). A revisão independente feita por um crítico separado levou a melhor. Ela acrescentou 5.9–9.5 p.p. de precisão no TB e 3.9–6.6 p.p. no SWE, com custo de 1.13–1.25x e 1.00–1.04x da execução base, respectivamente.

Quatro camadas para flagrar os erros do agente

O harness fornece ferramentas ao modelo de linguagem, mostra o resultado do que ele fez e permite avançar de forma iterativa até o objetivo. A questão é em que ponto desse ciclo inserir a verificação. Os autores dividiram o ciclo de vida do agente em quatro camadas:

• Instruções iniciais. O modelo é instruído a se verificar já no prompt de partida.
• Lembretes no meio da execução. Durante o trabalho, o agente recebe mensagens lembrando-o de conferir o que fez.
• Completion gates. O agente não pode declarar a tarefa concluída até passar por um portão de controle.
• Revisão independente. Um crítico separado analisa o resultado, e depois o agente faz as correções.

As duas primeiras camadas se mostraram as mais baratas e as mais modestas. O ganho médio nos benchmarks de código é pequeno e depende bastante do modelo, mas o número de tokens de saída não cresce de forma perceptível. Os completion gates extraem mais desempenho, mas podem elevar o custo de forma significativa: o agente esbarra no portão e gasta tokens em novas tentativas.

Por que o crítico vence no custo

A revisão independente ficou em um ponto favorável da curva entre precisão e preço. No SWE, o custo adicional fica entre 0 e 4%; no TB, entre 13 e 25%. Para equipes que pagam pelos tokens de milhares de execuções de agentes por dia, essa diferença entre as camadas aparece de forma mensurável na fatura.

O escalonamento aqui acontece em dois eixos. Rodadas adicionais de revisão ou vários críticos independentes somam até 3.5 p.p. no TB além da verificação única. Trata-se de test-time scaling que não vem de longas cadeias de raciocínio de um único modelo, mas da separação de papéis: o executor escreve, e o crítico lê sem carregar as suposições do próprio autor.

Os autores também introduziram o VisualBench, um conjunto para avaliação por especialistas de artefatos visuais e interativos, ou seja, interfaces e páginas em que os testes capturam muito pouco. Os quatro esquemas de revisão independente tiveram vantagem líquida positiva sobre a base, de 13.2 a 23.8 pontos. Cada um deles também superou os esquemas avaliados das camadas L0–L2.

Números principais

• Esquemas de verificação comparados: 17
• Modelos: 7 (modelos de código de nível frontier)
• Benchmarks: Terminal-Bench, SWE-bench Verified, VisualBench (avaliação por especialistas)
• Revisão independente no TB: +5.9–9.5 p.p. com custo de 1.13–1.25x
• Revisão independente no SWE: +3.9–6.6 p.p. com custo de 1.00–1.04x
• VisualBench: preferência líquida de 13.2–23.8 pontos a favor da revisão
• Rodadas extras ou mais críticos: até +3.5 p.p. no TB sobre a revisão única

O que levar para o seu harness

Se você está construindo um agente de código, vale manter no prompt inicial as dicas baratas do tipo "verifique seu trabalho", mas não espere um efeito estável: ele depende do modelo, então é preciso fazer um teste próprio. Os completion gates fazem sentido onde o custo de um erro é maior que o custo dos tokens e onde você está disposto a acompanhar o orçamento.

A principal conclusão prática é esta: uma passada separada do crítico depois que o trabalho termina, seguida de correção, dá o ganho mais visível por unidade de custo. O melhor é começar com um crítico e uma rodada. Adicione uma segunda rodada ou um segundo crítico quando, na sua tarefa, a revisão única deixar de encontrar erros. Em tarefas visuais e interativas, em que os testes automáticos são fracos, a revisão independente se justifica ainda mais.

O artigo foi publicado no Hugging Face Daily Papers, com o número arXiv 2610.34577.