La pirámide de testing como herramienta para descomponer tareas para agentes de IA en QA Assist

Cuando un modelo de lenguaje se convierte en diseñador de tests, la teoría clásica de QA adquiere de forma inesperada una nueva dimensión. De eso trata el tercer artículo de Mijaíl Fiódorov en su serie sobre el sistema QA Assist, publicado en Habr. En esta ocasión, el autor explica por qué la pirámide de testing, concebida mucho antes de la era de las redes neuronales, resulta crítica para los agentes de IA con una ventana de contexto limitada.

QA Assist es un sistema de 11 agentes de IA especializados en automatizar el testing de software. En el primer artículo de la serie, Fiódorov describió la arquitectura: cómo se reparten las responsabilidades entre los agentes, cómo interactúan y qué saben hacer. En el segundo mostró con franqueza la realidad de la implantación: una tarea que sobre el papel parece de cuatro horas se convierte, en un entorno corporativo, en una semana de aprobaciones, reuniones con el equipo de seguridad y cambios en la configuración de infraestructura.

El tercer artículo sube un nivel: aborda cómo formular correctamente las tareas para la IA y obtener así un resultado de calidad y reproducible. La pirámide de testing es uno de los principios básicos del desarrollo. En la base están los tests unitarios, rápidos y baratos, que verifican funciones y métodos de forma aislada.

En la parte central se sitúan los tests de integración, que comprueban la interacción entre componentes. En la cúspide están los tests end-to-end, lentos y caros, que simulan un escenario de usuario real. La proporción clásica: muchos tests unitarios, menos de integración y un mínimo de E2E.

Esta estructura ahorra tiempo de ejecución y simplifica la depuración: cuando falla un test unitario, se ve de inmediato qué se ha roto exactamente. El problema surge cuando quien diseña los tests ya no es un ingeniero, sino un modelo de lenguaje. Un LLM trabaja dentro de una ventana de contexto, es decir, un volumen fijo de tokens que el modelo retiene durante una sesión de generación.

Para tareas pequeñas, esto no es crítico. Pero si se le pide a la red neuronal que escriba en una sola petición un conjunto de tests completo para una aplicación grande, el resultado es previsible: o parte de la lógica de negocio se pierde más allá del límite del contexto, o el modelo genera escenarios superficiales, sin profundizar en las dependencias reales ni en los casos límite. Es aquí donde la pirámide de testing deja de ser teoría de manual y se convierte en una herramienta práctica de descomposición.

La metáfora del autor, darle de comer el elefante a la red neuronal a trozos, describe con precisión la esencia del enfoque. La tarea grande se divide en capas siguiendo la pirámide: primero los agentes generan tests unitarios a nivel de función, después pasan a los escenarios de integración y solo al final a los E2E. Cada capa cabe en la ventana de contexto del modelo y se procesa de forma aislada, sin pérdida de calidad por desbordamiento del contexto.

Este enfoque aporta varias ventajas concretas. Cada petición al modelo está enfocada: el agente recibe un alcance claro, un contrato de entrada definido y un artefacto concreto de salida. Los errores quedan localizados: si un test unitario está mal escrito, se detecta de inmediato, y no varias iteraciones después, cuando ya se ha construido encima un escenario de integración.

Por último, la pirámide establece un orden natural de dependencias: los E2E se construyen sobre una base ya verificada, no en paralelo con ella. Fiódorov no pretende haber reinventado la rueda. El propio autor reconoce que se trata de aplicar un principio de ingeniería conocido desde hace tiempo a un contexto nuevo.

Pero esa es precisamente la idea central: la IA no elimina los principios básicos del desarrollo, sino que los hace aún más importantes. Entender la pirámide de testing ya no es cosa solo del ingeniero de QA, sino también de quien diseña la arquitectura de las peticiones a los modelos de lenguaje. Para los equipos que estudian herramientas de IA para automatizar el testing, la lección es práctica: primero diseña la descomposición de la tarea y después confíasela al modelo.

El elefante se come a trozos, y eso no es una limitación de la tecnología, sino la única arquitectura que funciona.