Δτ-Bench: el mejor agente de IA resuelve solo el 42,3% de las tareas en un mundo cambiante

Investigadores del University College London y sus coautores han presentado Δτ-Bench, un benchmark ejecutable en el que el conjunto de herramientas de un agente de IA no permanece estático. Las 1 588 tareas multipaso verificadas, repartidas en 42 dominios, se ejecutan a lo largo de seis estados sucesivos del ecosistema. La mejor de las variantes evaluadas, ya sea un modelo o un arnés de agente, resuelve solo el 42,3% de las tareas. Junto con el benchmark, los autores proponen Steward, un gestor del ecosistema que mantiene una tasa de éxito más alta cuando cambian los estados y gasta menos recursos en el mantenimiento de las habilidades.

Un examen en el que reescriben el libro de texto a mitad de la prueba

La mayoría de los benchmarks de agentes funcionan como un examen con un libro de texto inmutable: el conjunto de API es fijo, la documentación está limpia y hay una sola ruta correcta. En los sistemas reales ocurre lo contrario. Los servicios evolucionan de forma independiente. Una herramienta conocida desaparece o se sustituye, la funcionalidad de distintos servicios se solapa y la documentación es ruidosa.

Δτ-Bench incorpora esa dinámica a la propia prueba. El ecosistema pasa por seis estados, y las transiciones entre ellos se construyen mediante capability-preserving transformations, es decir, transformaciones que conservan la posibilidad de principio de completar la tarea. La tarea sigue siendo resoluble; lo único que cambia es el camino hasta ella. Este diseño evalúa dos capacidades que antes se medían por separado:

• encontrar de forma proactiva cadenas de llamadas más eficientes, en lugar de aferrarse a la primera que funciona;
• revisar con rapidez el conocimiento procedimental acumulado cuando las recetas antiguas dejan de funcionar.

Por qué las habilidades caducan más rápido de lo que los agentes aprenden

La parte más inquietante de los resultados afecta a los métodos de skill-learning, en los que el agente acumula procedimientos reutilizables. Al principio aportan una ventaja notable, pero a medida que el ecosistema evoluciona, esa ventaja no se convierte en una adaptación estable. La experiencia acumulada empieza a jugar en contra del agente: sigue con seguridad una ruta que ya está cerrada o pasa por alto una herramienta nueva que hace el mismo trabajo en menos pasos.

El techo general tampoco es alto. La mejor de las variantes evaluadas alcanza un 42,3% de tareas resueltas. A modo de comparación: en los benchmarks estáticos los agentes suelen evaluarse en un entorno estable, mientras que aquí no hay estabilidad y una parte considerable de las tareas queda sin resolver.

Steward: un jardinero para herramientas y conocimiento

A partir de estas observaciones, los autores construyeron Steward. La idea es que las herramientas y el conocimiento procedimental deben gestionarse de forma conjunta, no como subsistemas separados. El gestor funciona con dos mecanismos:

• mantenimiento incremental de habilidades: se corrige solo lo que ha quedado obsoleto, sin reconstruir por completo la biblioteca;
• suministro dinámico de herramientas durante la propia ejecución de la tarea: el agente recibe las opciones vigentes cuando las necesita.

Según los datos de los experimentos, Steward mantiene una tasa de éxito más alta a lo largo de todos los cambios del ecosistema y con menores costes de mantenimiento de habilidades. Recupera mejor los flujos de trabajo rotos y cambia con más frecuencia a alternativas más eficientes.

Parámetros clave de Δτ-Bench

• Formato: benchmark ejecutable para agentes con diálogos multipaso.
• Volumen: 1 588 tareas validadas.
• Cobertura: 42 dominios.
• Dinámica: seis estados sucesivos del ecosistema, generados mediante transformaciones que preservan las capacidades.
• Interferencias: funcionalidad solapada, documentación ruidosa, herramientas que desaparecen y se sustituyen.
• Mejor resultado: 42,3% de tareas resueltas.
• Método propuesto: Steward, con mantenimiento incremental de habilidades y suministro dinámico de herramientas.
• Autores: Shuofei Qiao, Xuanguang Pan, Yijun Chen, Wendi Feng, Bin Wu, Runnan Fang, Yuqi Zhu, Shumin Deng, Emine Yilmaz.
• Materiales: el artículo de arXiv 2610.34238 y el repositorio zjunlp/delta-tau-bench en GitHub.

Qué revisar en tu stack de agentes

Si construyes agentes sobre servidores MCP, API internas o un conjunto de plugins, Δτ-Bench sugiere preguntas concretas para tu propio sistema. ¿Qué ocurre con la biblioteca de habilidades cuando uno de los servicios cambia su esquema o desaparece? ¿Existe un mecanismo que detecte la aparición de un camino más corto, y no solo la rotura del antiguo? ¿Cuánto cuesta mantener las recetas acumuladas, en tokens y en horas de trabajo humano?

La conclusión práctica es sencilla. Evaluar a un agente con una única ejecución sobre un conjunto congelado de herramientas no basta. Hace falta una ejecución periódica sobre una versión «a la deriva» del entorno, y la memoria del agente debe tener una política de caducidad y de actualización puntual. El código del benchmark es abierto, de modo que ya es posible montar una prueba de estrés así sobre tus propios dominios.