Δτ-Bench: melhor agente de IA resolve só 42,3% das tarefas em um mundo em constante mudança

Pesquisadores da University College London e colaboradores apresentaram o Δτ-Bench, um benchmark executável em que o conjunto de ferramentas de um agente de IA não fica parado. Ao todo, 1 588 tarefas multietapas verificadas, distribuídas em 42 domínios, passam por seis estados sucessivos do ecossistema. A melhor variante avaliada, seja modelo ou arcabouço de agente, resolve apenas 42,3% das tarefas. Junto com o benchmark, os autores propõem o Steward, um gerenciador de ecossistema que mantém a taxa de sucesso mais alta ao longo das mudanças de estado e gasta menos recursos na manutenção de habilidades.

Um teste em que o livro didático é reescrito no meio da prova

A maioria dos benchmarks de agentes funciona como uma prova com livro didático imutável: o conjunto de APIs é fixo, a documentação é organizada e existe um único caminho correto. Nos sistemas reais, é diferente. Os serviços evoluem de forma independente. Uma ferramenta conhecida desaparece ou é substituída, a funcionalidade de serviços distintos se sobrepõe e a documentação é ruidosa.

O Δτ-Bench incorpora essa dinâmica ao próprio teste. O ecossistema passa por seis estados, e as transições entre eles são construídas por meio de capability-preserving transformations, isto é, transformações que preservam a possibilidade de cumprir a tarefa. A tarefa continua solucionável; muda apenas o caminho até a solução. Esse desenho avalia duas habilidades que antes eram medidas separadamente:

• encontrar de forma proativa cadeias de chamadas mais eficientes, em vez de se agarrar à primeira que funciona;
• revisar rapidamente o conhecimento procedural acumulado quando as receitas antigas deixam de funcionar.

Por que as habilidades ficam obsoletas mais rápido do que os agentes aprendem

A parte mais preocupante dos resultados diz respeito aos métodos de skill-learning, nos quais o agente acumula procedimentos reutilizáveis. No início, eles trazem um ganho perceptível, mas, à medida que o ecossistema evolui, esse ganho não se converte em adaptação estável. A experiência acumulada passa a trabalhar contra o agente: ele segue com confiança por uma rota que já foi fechada ou deixa passar uma ferramenta nova que faz o mesmo trabalho em menos passos.

O teto geral também é baixo. A melhor variante avaliada alcança 42,3% de tarefas bem-sucedidas. Para comparação: em benchmarks estáticos, os agentes costumam ser avaliados em um ambiente estável; aqui não há estabilidade, e uma parcela significativa das tarefas permanece sem solução.

Steward: um jardineiro para ferramentas e conhecimento

Com base nessas observações, os autores construíram o Steward. A ideia é que ferramentas e conhecimento procedural devem ser gerenciados em conjunto, e não por subsistemas separados. O gerenciador funciona por meio de dois mecanismos:

• manutenção incremental de habilidades: corrige-se apenas o que ficou obsoleto, sem reconstruir a biblioteca inteira;
• entrega dinâmica de ferramentas durante a execução da tarefa: o agente recebe as opções atualizadas no momento em que precisa delas.

Segundo os experimentos, o Steward mantém uma taxa de sucesso mais alta ao longo de todas as mudanças do ecossistema, com custo menor de manutenção de habilidades. Ele se recupera melhor de fluxos de trabalho quebrados e migra com mais frequência para alternativas mais eficientes.

Principais parâmetros do Δτ-Bench

• Formato: benchmark executável para agentes, com diálogos multietapas.
• Volume: 1 588 tarefas validadas.
• Cobertura: 42 domínios.
• Dinâmica: seis estados sucessivos do ecossistema, criados por transformações que preservam capacidades.
• Interferências: funcionalidade sobreposta, documentação ruidosa, ferramentas que desaparecem e são substituídas.
• Melhor resultado: 42,3% de tarefas bem-sucedidas.
• Método proposto: Steward, com manutenção incremental de habilidades e entrega dinâmica de ferramentas.
• Autores: Shuofei Qiao, Xuanguang Pan, Yijun Chen, Wendi Feng, Bin Wu, Runnan Fang, Yuqi Zhu, Shumin Deng, Emine Yilmaz.
• Materiais: artigo arXiv 2610.34238 e repositório zjunlp/delta-tau-bench no GitHub.

O que verificar na sua stack de agentes

Se você constrói agentes com servidores MCP, APIs internas ou um conjunto de plugins, o Δτ-Bench sugere perguntas concretas para o seu próprio sistema. O que acontece com a biblioteca de habilidades quando um dos serviços muda o esquema ou desaparece? Existe um mecanismo que perceba o surgimento de um caminho mais curto, e não apenas a quebra do antigo? Quanto custa manter as receitas acumuladas, em tokens e em horas de trabalho humano?

A conclusão prática é simples. Avaliar um agente com uma única execução em um conjunto congelado de ferramentas não basta. É preciso rodar testes regularmente em uma versão «à deriva» do ambiente, e a memória do agente deve ter uma política de obsolescência e de atualização pontual. O código do benchmark é aberto, então já é possível montar esse teste de estresse nos seus próprios domínios.