Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Un ingeniero de QA redujo el desarrollo de pruebas automatizadas de 2 semanas a 2 días con un LLM

Escribir a mano pruebas automatizadas para un script con decenas de flags lleva mucho tiempo, y es fácil pasar por alto una combinación peligrosa. Un ingeniero de QA de «T1 Innotech» le entregó a un LLM la referencia del script de sincronización de un DAG en Airflow, la matriz de conflictos y los registros de fallos, y obtuvo el esqueleto de las pruebas. El desarrollo del conjunto se redujo de 2 semanas a 2 días, la cobertura subió del 60% al 95% y los escenarios pasaron de 200 a 600. La condición: primero hay que eliminar las contradicciones en los datos de entrada.

Procesado por IA desde Habr AI; editado por Hamidun News
Un ingeniero de QA redujo el desarrollo de pruebas automatizadas de 2 semanas a 2 días con un LLM
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Antes de hacer la consulta, el autor eliminó a mano las contradicciones y los ejemplos obsoletos de la documentación.
Dato clave #2Un prompt con el rol de experto senior generó más casos límite que una consulta corta.
Dato clave #3El JSON plano hubo que convertirlo en un árbol para los informes de Jenkins.

Generar pruebas con un LLM ya no sorprende a nadie. Lo más interesante es cómo funciona esto en una tarea real con documentación imperfecta. Roman Polyakov, ingeniero de pruebas en «T1 Innotech», describió en Habr su caso: pruebas automatizadas para el script de sincronización de un DAG en Airflow. Las hizo en dos días en lugar de dos semanas. A continuación, lo que hizo exactamente y dónde falla el enfoque.

Tarea: combinaciones de flags que es fácil pasar por alto

El script acepta un conjunto de claves: --file, --delete, --dry-run, --exclude y otras. Algunas combinaciones son admisibles y otras entran en conflicto. Por ejemplo, --file con --delete, o --dry-run con --exclude, deben comprobarse por separado. Codificar a mano todas las combinaciones lleva mucho tiempo y existe un riesgo alto de omitir una pareja peligrosa.

La dificultad no estaba solo en el número de combinaciones. La documentación se contradecía. En una sección, la máscara *.py para --exclude está permitida; en otra, solo se admiten rutas absolutas. Los ejemplos de comandos de la guía no coincidían con la descripción, y en los registros seguían apareciendo mensajes de error ya corregidos en una versión reciente de Airflow.

Cómo trabajó el autor con el modelo

El primer paso fue el menos automatizado. Polyakov «limpió» los datos a mano: identificó las reglas canónicas, descartó los ejemplos obsoletos y reunió un diccionario único de flags. Según explica, sin ese paso el modelo generaría escenarios igual de contradictorios que los materiales de partida.

Después armó la consulta con cuatro partes: el texto de la referencia del script, la matriz de conflictos, ejemplos de comandos y los registros de ejecuciones fallidas. Definió el formato de salida desde el principio: JSON compatible con CI/CD. Al modelo le asignó el rol de un experto senior que conoce todas las «combinaciones prohibidas» de flags, y le pidió cubrir cada combinación admisible y cada combinación peligrosa. Según la observación del autor, una consulta corta del tipo «genera pruebas para el script» daba resultados más superficiales: el modelo pasaba por alto los casos límite.

El modelo devolvió el esqueleto: escenarios positivos (--file con --dry-run como ejecución de prueba segura), negativos (claves en conflicto), de frontera (rutas vacías, extensiones inexistentes en --exclude) y stubs para verificar el registro deploy.log.

Aun así, no se puede dar por terminado. El autor retocó el script a mano:

  • añadió el análisis de registros, para comprobar no solo los códigos de retorno sino también los mensajes en deploy.log;
  • simuló fallos de red con la utilidad tc: limitación de ancho de banda y pérdida de paquetes;
  • unificó escenarios positivos parecidos para no alargar el tiempo de ejecución;
  • escribió un conversor, porque el JSON «plano» del modelo no encajaba con Jenkins, y a partir de él construyó un árbol con las métricas success_rate, total_time y failed_scenarios.

El proceso avanzó en ciclos: consulta, esqueleto, análisis, retoque, ejecución, revisión de registros y ajuste del prompt. Cada vuelta redujo el trabajo manual, pero requirió tiempo para verificar.

Qué se obtuvo y cómo interpretarlo

El autor presenta estos resultados:

  • desarrollo de las pruebas: de 2 semanas a 2 días;
  • cobertura de escenarios: del 60% al 95%, incluyendo casos de frontera y extremos;
  • número de escenarios: 600 frente a 200 con trabajo manual, con la misma duración de ejecución;
  • tiempo para revisar los informes: un 30% menos;
  • en producción, tras la implantación, no hubo fallos.

El artículo incluye otros ejemplos. En la página «Contragent», el modelo generó 80 escenarios en cinco minutos y el equipo retocó el 15%. Para un pliego bancario de 150 páginas, el autor habla de 120 escenarios frente a 20 manuales y un arranque de las pruebas entre un 30% y un 40% más rápido.

Hay que leer estas cifras con cautela. Se trata de un solo proyecto y de un autoinforme, no de una comparación controlada. El texto no indica qué modelo se usó ni cuántos tokens y dinero costaron las iteraciones. La conclusión «ni un solo fallo en producción» no puede atribuirse por completo a la IA: influyen también otros cambios. Las demás secciones del artículo, por ejemplo sobre pruebas adaptativas y priorización, según reconoce el propio autor, se basan en la experiencia de colegas y en demostraciones de herramientas, no en su implantación.

Conclusiones prácticas

Primero: la calidad de los datos de entrada pesa más que la astucia del prompt. La documentación contradictoria produce pruebas contradictorias, así que primero hay que reducirla a un único diccionario.

Segundo: el rol y el objetivo en la consulta funcionan. Plantear «encuentra las combinaciones prohibidas y no rompas el pipeline» obligó al modelo a buscar escenarios negativos y de frontera, en lugar de repetir los ejemplos de la referencia.

Tercero: pida desde el principio un formato de salida que entienda su CI. Pero reserve tiempo para el conversor: la estructura de la respuesta del modelo rara vez coincide con lo que espera Jenkins u otro sistema.

Cuarto, las limitaciones que menciona el propio autor. La documentación de más de 50–100 páginas conviene dividirla en bloques o conectar RAG; de lo contrario, el modelo pierde el contenido del medio del texto. Para registros sensibles, conviene usar modelos locales. El resultado del modelo sigue siendo un borrador: entre el 10% y el 20% de los escenarios seguirá necesitando revisión humana.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Tarea: combinaciones de flags que es fácil pasar por alto?

El script acepta un conjunto de claves: --file, --delete, --dry-run, --exclude y otras. Algunas combinaciones son admisibles y otras entran en conflicto. Por ejemplo, --file con --delete, o --dry-run con --exclude, deben comprobarse por separado. Codificar a mano todas las combinaciones lleva mucho tiempo y existe un riesgo alto de omitir una pareja peligrosa. La dificultad no estaba solo en el número de combinaciones. La documentación se contradecía.

Cómo trabajó el autor con el modelo?

El primer paso fue el menos automatizado. Polyakov «limpió» los datos a mano: identificó las reglas canónicas, descartó los ejemplos obsoletos y reunió un diccionario único de flags. Según explica, sin ese paso el modelo generaría escenarios igual de contradictorios que los materiales de partida. Después armó la consulta con cuatro partes: el texto de la referencia del script, la matriz de conflictos, ejemplos de comandos y los registros de ejecuciones fallidas.

¿Qué se sabe sobre Qué se obtuvo y cómo interpretarlo?

El autor presenta estos resultados: desarrollo de las pruebas: de 2 semanas a 2 días; cobertura de escenarios: del 60% al 95%, incluyendo casos de frontera y extremos; número de escenarios: 600 frente a 200 con trabajo manual, con la misma duración de ejecución; tiempo para revisar los informes: un 30% menos; en producción, tras la implantación, no hubo fallos. El artículo incluye otros ejemplos. En la página «Contragent», el modelo generó 80 escenarios en cinco minutos y el equipo retocó el 15%.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…