Cómo medir el trabajo de un agente de IA en QA: la historia de un benchmark

Cuando un agente de IA trabaja en tareas de pruebas, una pregunta se vuelve incómoda: ¿de verdad es mejor que ayer? No se puede responder sin más: hacen falta cifras. Mijaíl Fedorov, desarrollador de QA Assist, se topó de lleno con este problema. QA Assist es un sistema de 11 agentes de IA que cubren juntos todo el ciclo de pruebas, desde la descomposición de requisitos hasta autotests listos para usar. Pero ¿cómo saber si el sistema mejoró tras la última actualización? A ojo no es fiable.

Por qué no funciona evaluar a ojo

La evaluación subjetiva puede fallar en cualquier punto: ayer el agente encontró 5 bugs y hoy 7, pero ¿puede asegurar que mejoró el sistema y que no cambió simplemente el conjunto de pruebas? Distintas versiones del modelo, distintos prompts y distintos parámetros de temperatura del LLM influyen en el resultado. Sin un benchmark sistemático, es difícil saber qué ayuda realmente.

Fedorov resolvió el problema de forma radical: montó un proyecto de benchmark independiente en el que el agente trabaja con las mismas reglas, los mismos requisitos y los mismos casos límite.

Qué puede hacer el benchmark

• Comparar distintas versiones del agente con un mismo conjunto de datos
• Probar el efecto de mejoras concretas del pipeline (prompt engineering, cambios en la lógica de descomposición)
• Experimentar con modelos: GPT-5.5 vs Claude vs otros
• Seguir el progreso a lo largo del tiempo, con visualización de las mejoras
• Generar un informe completo con el porcentaje de bugs encontrados, omisiones y falsos positivos

Importante: un benchmark no significa un «conjunto de pruebas perfecto». Significa un conjunto de pruebas controlado, con el menor número posible de variables y en el que cada ejecución es reproducible.

Artefactos de una sola ejecución

En cada ejecución, el agente prepara un paquete completo: los requisitos extraídos y su descomposición, escenarios de prueba con sus pasos, código de autotests listo, un informe de cobertura y omisiones, y un registro de las decisiones aceptadas y rechazadas. Todos los artefactos se guardan en un repositorio público, donde se puede ver cómo razona el agente en distintos ejemplos. Esto sirve no solo para seguir el progreso, sino también para depurar: cuando el agente se equivoca, se ve en qué paso del pipeline y por qué.

Qué significa esto

Para quienes desarrollan herramientas de QA, los benchmarks se vuelven obligatorios: es la única forma de ser honestos con uno mismo sobre la calidad del trabajo. El acceso abierto al proyecto de Fedorov demuestra que esa transparencia es posible. Otros equipos que trabajan con agentes de IA en pruebas ya saben qué hacer desde el principio.