EvoWeb pone a prueba a los agentes de programación con 320 solicitudes consecutivas sobre 32 aplicaciones web

Los agentes de programación se suelen evaluar con un esquema único: se les da una especificación, entregan una aplicación terminada y se ejecutan los tests. El desarrollo real funciona de otra manera. Un producto crece a través de una cadena de solicitudes: añadir un carrito, después códigos promocionales, después un área personal que debe mostrar el historial de pedidos. El benchmark EvoWeb simula precisamente ese proceso: 320 solicitudes acumulativas sobre 32 aplicaciones web, es decir, una media de diez pasos consecutivos por proyecto. Los autores señalan que el principal cuello de botella de los modelos actuales es la integración de funciones nuevas con las ya existentes.

Cómo está diseñado el benchmark

EvoWeb se basa en funcionalidades de producto reales. Las solicitudes están conectadas por grafos de dependencias funcionales: una capacidad se apoya en otra, y el orden de las tareas no es arbitrario. El agente trabaja con una base de código persistente. El resultado del paso n.º 3 pasa a ser el material de partida del paso n.º 4, y los errores acumulados no desaparecen.

La verificación tampoco es habitual. Tras cada solicitud, un agente web multimodal abre la versión intermedia de la aplicación y la prueba en un navegador real. Evalúa tres aspectos:

• si funciona la funcionalidad recién solicitada;
• si se integra con las funciones de solicitudes anteriores;
• si se ha roto algo que ya estaba implementado.

El tercer punto es importante: en este planteamiento las regresiones no quedan ocultas tras un test final, sino que se ven en cada paso.

Fiabilidad en lugar de un punto de parada

Otra decisión de los autores afecta a la métrica. EvoWeb no tiene un criterio de parada fijo del tipo «se cuenta hasta que el agente falla una solicitud». En su lugar, la trayectoria se integra sobre distintos umbrales de tolerancia del usuario. Un cliente perdonará un fallo; otro se irá tras el primero. La métrica muestra cuánto tiempo sigue siendo útil el agente según el grado de exigencia ante los errores. Para un ingeniero, esto se acerca más a la pregunta «cuántas iteraciones puedo confiarle» que un porcentaje seco de tareas resueltas.

Qué mostraron los experimentos

Los autores evaluaron modelos frontier abiertos y cerrados. EvoWeb los separó con claridad por resultados, algo que a muchos benchmarks existentes les cuesta cuando los líderes se concentran en un margen estrecho. El componente más difícil fue la integración entre solicitudes.

Dos conclusiones del análisis:

• Las solicitudes situadas más adelante en la cadena, y con dependencias más profundas o numerosas, se resuelven peor.
• El número de errores de ejecución crece de una solicitud a otra.

La segunda conclusión le resultará familiar a cualquiera que haya confiado una sesión larga a un agente. El código se acumula, las relaciones entre módulos se complican y cada nueva modificación corre el riesgo de afectar algo que el modelo ya «olvidó» o que no logró retener en el contexto. Es una degradación a larga distancia, no un fallo aislado.

Cómo usar los resultados en la práctica

Para los equipos que incorporan agentes al desarrollo, EvoWeb ofrece un marco listo para sus propias evaluaciones. Evalúe al agente no con una sola tarea, sino con una serie de cinco a diez cambios relacionados en un mismo repositorio, y revise siempre la funcionalidad anterior después de cada paso. Los tests automáticos de regresión aquí no son un lujo, sino un seguro. Si los errores de ejecución se acumulan, conviene hacer refactorizaciones con más frecuencia y reducir el contexto que el agente debe tener presente.

Para los desarrolladores de modelos y de frameworks de agentes, la señal también es clara: hay que mejorar el manejo de dependencias y la resistencia a la complejidad acumulada, y no solo la calidad de la generación desde cero. También conviene tener en cuenta una limitación del benchmark: se centra en aplicaciones web y se apoya en otro agente de IA como juez, por lo que las puntuaciones heredan sus imprecisiones. Aun así, como banco de pruebas para escenarios largos de múltiples solicitudes, EvoWeb cubre un vacío real.