Δτ-Bench: o melhor agente de IA resolve apenas 42,3% das tarefas em um mundo em mudança

Pesquisadores da University College London e seus coautores apresentaram o Δτ-Bench — um benchmark executável no qual o conjunto de ferramentas de um agente de IA não fica parado. 1.588 tarefas multietapas validadas, abrangendo 42 domínios, são testadas ao longo de seis estados sucessivos do ecossistema. A melhor opção avaliada, seja modelo ou arcabouço de agente, resolve apenas 42,3% das tarefas. Junto com o benchmark, os autores propõem o Steward — um gerenciador de ecossistema que mantém a taxa de sucesso mais alta durante as mudanças de estado e consome menos recursos na manutenção das habilidades.

Um teste em que o livro didático é reescrito no meio da prova

A maioria dos benchmarks agentic é organizada como uma prova com livro didático imutável: o conjunto de APIs é fixo, a documentação é organizada, e há apenas uma rota correta. Nos sistemas reais, é diferente. Os serviços evoluem de forma independente uns dos outros. Uma ferramenta familiar desaparece ou é substituída, a funcionalidade de diferentes serviços se sobrepõe, e a documentação fica ruidosa.

O Δτ-Bench incorpora essa dinâmica diretamente no próprio teste. O ecossistema passa por seis estados, e as transições entre eles são construídas por meio de capability-preserving transformations, ou seja, transformações que preservam a possibilidade fundamental de realizar a tarefa. A tarefa permanece solucionável, mas o caminho até ela muda. Esse design testa duas habilidades que antes eram medidas separadamente:

• encontrar proativamente cadeias de chamadas mais eficientes, em vez de se apegar à primeira solução que funcionou;
• revisar rapidamente o conhecimento procedural acumulado quando as receitas antigas deixam de funcionar.

Por que as habilidades ficam obsoletas mais rápido do que os agentes aprendem

A parte mais preocupante dos resultados diz respeito aos métodos de skill-learning, nos quais o agente acumula procedimentos reutilizáveis. No início, eles trazem um ganho perceptível, mas, à medida que o ecossistema evolui, esse ganho não se converte em adaptação estável. O conhecimento acumulado começa a trabalhar contra o agente: ele segue com confiança uma rota já fechada, ou deixa de notar uma nova ferramenta que faz o mesmo trabalho em menos etapas.

O teto geral também é baixo. A opção mais forte avaliada atinge 42,3% de tarefas concluídas com sucesso. Para comparação: em benchmarks estáticos, os agentes costumam ser avaliados em um ambiente estável, mas aqui não há estabilidade, e uma parcela significativa das tarefas permanece sem solução.

Steward: um jardineiro para ferramentas e conhecimento

Com base nessas observações, os autores desenvolveram o Steward. A ideia é que ferramentas e conhecimento procedural precisam ser gerenciados juntos, e não em subsistemas separados. O gerenciador funciona por meio de dois mecanismos:

• manutenção incremental de habilidades: apenas o que ficou obsoleto é corrigido, sem reconstrução completa da biblioteca;
• fornecimento dinâmico de ferramentas diretamente durante a execução da tarefa: o agente recebe as opções atualizadas no momento em que precisa delas.

Segundo os dados dos experimentos, o Steward mantém uma taxa de sucesso mais alta ao longo de todas as mudanças do ecossistema, com custos menores de manutenção de habilidades. Ele recupera melhor fluxos de trabalho quebrados e migra com mais frequência para alternativas mais eficientes.

Principais parâmetros do Δτ-Bench

• Formato: benchmark executável para agentes com diálogos multietapas.
• Volume: 1.588 tarefas validadas.
• Cobertura: 42 domínios.
• Dinâmica: seis estados sucessivos do ecossistema, criados por transformações que preservam capacidades.
• Obstáculos: funcionalidade sobreposta, documentação ruidosa, ferramentas que desaparecem e são substituídas.
• Melhor resultado: 42,3% de tarefas concluídas com sucesso.
• Método proposto: Steward, com manutenção incremental de habilidades e fornecimento dinâmico de ferramentas.
• Autores: Shuofei Qiao, Xuanguang Pan, Yijun Chen, Wendi Feng, Bin Wu, Runnan Fang, Yuqi Zhu, Shumin Deng, Emine Yilmaz.
• Materiais: artigo no arXiv 2610.34238 e repositório zjunlp/delta-tau-bench no GitHub.

O que verificar na sua stack de agentes

Se você constrói agentes sobre servidores MCP, APIs internas ou um conjunto de plugins, o Δτ-Bench sugere perguntas concretas para fazer ao seu próprio sistema. O que acontece com a biblioteca de habilidades quando um dos serviços muda de esquema ou desaparece? Existe algum mecanismo que detecte o surgimento de um caminho mais curto, e não apenas a quebra do antigo? Quanto custa a manutenção das receitas acumuladas, em tokens e em horas de trabalho humano?

A conclusão prática é simples. Avaliar um agente por meio de uma única execução em um conjunto de ferramentas congelado não é suficiente. É necessária uma execução regular em uma versão "em deriva" do ambiente, e a memória do agente precisa ter uma política de obsolescência e atualização pontual. O código do benchmark é aberto, então esse teste de estresse já pode ser montado nos seus próprios domínios agora mesmo.