EvoWeb testa agentes de código em 320 solicitações sequenciais a 32 aplicações web

Agentes de código costumam ser avaliados por um único esquema: entrega-se uma especificação, recebe-se a aplicação pronta e rodam-se os testes. O desenvolvimento real funciona de outro jeito. O produto cresce por meio de uma cadeia de solicitações: adicionar um carrinho, depois cupons promocionais, depois uma área do cliente que precisa exibir o histórico de pedidos. O benchmark EvoWeb simula justamente esse processo: 320 solicitações cumulativas em 32 aplicações web, ou seja, em média dez passos sequenciais por projeto. Os autores relatam que, nos modelos atuais, o principal gargalo é a integração de novas funções com as já existentes.

Como o benchmark funciona

A base do EvoWeb são funcionalidades reais de produtos. As solicitações são conectadas por grafos de dependências funcionais: um recurso se apoia em outro, e a ordem das tarefas não é arbitrária. O agente trabalha com uma base de código persistente. O resultado do passo nº 3 vira o material de partida do passo nº 4, e os erros acumulados não desaparecem.

A verificação também foge do padrão. Após cada solicitação, um agente web multimodal abre a versão intermediária da aplicação e a testa em um navegador real. Ele avalia três aspectos:

• se a funcionalidade recém-solicitada funciona;
• se ela se integra às funções das solicitações anteriores;
• se o que já havia sido implementado não quebrou.

O terceiro ponto é importante: nesse formato, as regressões não ficam escondidas atrás de um teste final, e podem ser vistas a cada passo.

Confiabilidade em vez de ponto de parada

Uma decisão específica dos autores diz respeito à métrica. O EvoWeb não tem um critério fixo de parada, do tipo "contar até o agente falhar em uma solicitação". Em vez disso, a trajetória é integrada sobre diferentes limiares de tolerância do usuário. Um cliente perdoa uma falha; outro vai embora na primeira. A métrica mostra por quanto tempo o agente continua útil com diferentes níveis de rigor com os erros. Para o engenheiro, isso se aproxima mais da pergunta "quantas iterações posso confiar a ele" do que de um frio percentual de tarefas resolvidas.

O que os experimentos mostraram

Os autores testaram modelos frontier abertos e fechados. O EvoWeb separou os resultados com clareza, algo que muitos benchmarks existentes têm dificuldade de fazer quando os líderes se aglomeram em uma faixa estreita. O componente mais difícil foi a integração entre solicitações.

Duas conclusões da análise:

• Solicitações que aparecem mais adiante na cadeia e têm dependências mais profundas ou mais numerosas são resolvidas pior.
• O número de erros de tempo de execução cresce de uma solicitação para a seguinte.

A segunda conclusão soa familiar para qualquer um que já confiou uma sessão longa a um agente. O código se acumula, as ligações entre módulos ficam mais complexas, e cada nova alteração corre o risco de afetar algo de que o modelo já "esqueceu" ou que não conseguiu manter no contexto. Trata-se de degradação em longa distância, e não de um tropeço isolado.

Como usar os resultados na prática

Para equipes que estão adotando agentes no desenvolvimento, o EvoWeb oferece uma estrutura pronta para verificações próprias. Avalie o agente não por uma única tarefa, mas por uma série de cinco a dez alterações relacionadas no mesmo repositório, e sempre reverifique a funcionalidade antiga após cada passo. Testes automatizados de regressão aqui não são luxo, e sim seguro. Se os erros de execução se acumulam, vale fazer refatoração com mais frequência e reduzir o contexto que o agente precisa manter na "cabeça".

Para desenvolvedores de modelos e de frameworks de agentes, o sinal também é claro: é preciso melhorar o trabalho com dependências e a resistência à complexidade acumulada, e não apenas a qualidade da geração a partir de uma folha em branco. Também convém considerar a limitação do benchmark: ele se concentra em aplicações web e usa outro agente de IA como juiz, de modo que as avaliações herdam as imprecisões desse juiz. Ainda assim, como plataforma de testes para cenários longos com várias solicitações, o EvoWeb preenche uma lacuna real.