AgentLens: la evaluación de agentes de código pasa del resultado al proceso

Investigadores presentaron en julio de 2026 AgentLens, un benchmark para evaluar agentes de código. A diferencia de las pruebas estándar, que reducen el resultado a un simple pass/fail, AgentLens analiza toda la trayectoria del agente: cómo sigue las instrucciones, usa las herramientas disponibles, verifica su propio código, se recupera de los errores y se comunica con el usuario.

Por qué los enfoques anteriores se quedan cortos

Un benchmark típico para agentes de código es extremadamente simple: se plantea una tarea y el agente la resuelve o no. El resultado se reduce a un único valor binario: 1 o 0, pass o fail. Es cómodo para clasificar modelos rápidamente, pero no refleja en absoluto la experiencia real del usuario.

Quienes trabajan con agentes de código en producción ven mucho más. Interactúan con el agente durante todo su proceso de trabajo, siguen su razonamiento, ven los errores que comete y observan cómo se recupera y cambia de estrategia. Le hacen preguntas aclaratorias, le piden que reescriba código y le señalan bugs.

Los benchmarks estándar no registran nada de esto. No explican por qué el agente eligió ese enfoque, qué pasos intermedios le parecieron lógicos ni dónde se atascó. El resultado final puede ser técnicamente correcto, pero el camino hasta él puede ser largo, ineficiente y estar lleno de intentos fallidos.

Cómo funciona AgentLens

AgentLens combina varios enfoques de evaluación en un único sistema:

• Verificación formal — comprobaciones objetivas donde son posibles (sintaxis del código, lógica, resultados de pruebas unitarias)
• Revisiones de trayectoria redactadas por LLM — modelos entrenados específicamente analizan todo el recorrido del agente y evalúan cada paso y decisión
• Comparaciones side-by-side — el sistema muestra una comparación visual entre versiones de agentes y resalta las diferencias de comportamiento

El resultado de cada ejecución no es solo una puntuación de 1 a 10, sino una explicación detallada en lenguaje natural. El sistema describe por qué el agente recibió esa nota, qué decisiones fueron lógicas y acertadas, dónde se equivocó, cómo salió de sus errores y si usó las herramientas con eficiencia.

Dónde se usa AgentLens

El benchmark ha resultado útil para algo más que clasificar modelos. Los desarrolladores lo emplean con tres fines principales:

• Diagnóstico del comportamiento — entender a fondo dónde se equivoca el agente de forma sistemática, qué clases de tareas le cuestan más y qué herramientas aprovecha poco
• Comparación de versiones del propio agente — comprobar si la calidad mejoró entre lanzamientos o si hubo una regresión en algún aspecto
• Monitorización automática — los pipelines de pruebas nocturnos detectan problemas antes de que lleguen a los sistemas en producción

Qué significa

AgentLens refleja una tendencia más amplia en la comunidad de IA: la evaluación de agentes de código pasa de métricas simples a un análisis integral de todo el proceso de trabajo. En lugar de un yes/no binario, el sistema ofrece ahora una imagen completa: qué decisiones tomó el agente, por qué, qué salió bien y qué no.

Esto ayuda a los desarrolladores no solo a mejorar los resultados finales, sino también a entender mejor cómo razonan sus sistemas de IA, qué tipos de tareas se les dan bien y cuáles les causan problemas.

El benchmark se ha publicado como código abierto en GitHub, lo que permite a investigadores y desarrolladores de todo el mundo usarlo en sus propios proyectos.