Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Un ingénieur QA réduit le développement de ses tests automatisés de 2 semaines à 2 jours grâce à un LLM

Écrire à la main des tests automatisés pour un script doté de dizaines de flags prend du temps, et il est facile de passer à côté d'une combinaison dangereuse. Un ingénieur QA de « T1 Innotech » a fourni à un LLM l'aide-mémoire du script de synchronisation d'un DAG Airflow, la matrice des conflits et les journaux d'erreurs, et a obtenu en retour un squelette de tests. Le développement de la suite est passé de 2 semaines à 2 jours, la couverture de 60 % à 95 %, et le nombre de scénarios de 200 à 600. La condition : éliminer d'abord les contradictions dans les données d'entrée.

Traité par IA depuis Habr AI ; édité par Hamidun News
Un ingénieur QA réduit le développement de ses tests automatisés de 2 semaines à 2 jours grâce à un LLM
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1il a ajouté l'analyse des journaux, afin de vérifier non seulement les codes de retour mais aussi les messages dans `deploy.log` ;
Chiffre clé #2il a simulé des pannes réseau avec l'utilitaire `tc` : limitation de la bande passante et perte de paquets ;
Chiffre clé #3il a regroupé les scénarios positifs similaires pour ne pas allonger la durée d'exécution ;

Générer des tests avec un LLM ne surprend plus personne. Ce qui est plus intéressant, c'est la manière dont cela se passe sur une tâche réelle, avec une documentation imparfaite. Roman Poliakov, ingénieur test chez « T1 Innotech », a décrit sur Habr son cas : des tests automatisés pour le script de synchronisation d'un DAG dans Airflow. Il les a réalisés en deux jours au lieu de deux semaines. Voici ce qu'il a fait précisément, et là où l'approche atteint ses limites.

Le problème : des combinaisons de flags faciles à oublier

Le script accepte un ensemble de clés : --file, --delete, --dry-run, --exclude et d'autres. Certaines combinaisons sont valides, d'autres entrent en conflit. Par exemple, --file avec --delete, ou --dry-run avec --exclude, doivent être vérifiées séparément. Coder à la main toutes les combinaisons prend du temps, et le risque de passer à côté d'une association dangereuse est élevé.

La difficulté ne tenait pas seulement au nombre de combinaisons. La documentation se contredisait elle-même. Dans une section, le masque *.py est autorisé pour --exclude, dans une autre, seuls les chemins absolus le sont. Les exemples de commandes du guide ne correspondaient pas à la description, et les journaux contenaient encore des messages d'erreur déjà corrigés dans une version récente d'Airflow.

Comment l'auteur a travaillé avec le modèle

La première étape a été la moins automatisée. Poliakov a « nettoyé » les données à la main : il a isolé les règles canoniques, supprimé les exemples obsolètes et constitué un référentiel unique des flags. Selon lui, sans cela, le modèle aurait généré des scénarios aussi contradictoires que les documents de départ.

Il a ensuite construit une requête en quatre parties : le texte d'aide du script, la matrice des conflits, des exemples de commandes et les journaux des exécutions échouées. Il a défini immédiatement le format de sortie : du JSON compatible avec CI/CD. Il a attribué au modèle le rôle d'un expert senior connaissant toutes les « associations interdites » de flags, et lui a demandé de couvrir chaque combinaison valide et chaque combinaison dangereuse. Une requête courte du type « génère des tests pour le script » donnait, d'après l'auteur, un résultat plus superficiel : le modèle passait à côté des cas limites.

Le modèle a fourni un squelette : des scénarios positifs (--file avec --dry-run comme exécution d'essai sûre), négatifs (clés en conflit), limites (chemins vides, extensions inexistantes dans --exclude) et des stubs pour la vérification du journal deploy.log.

On ne peut pas pour autant parler de solution prête à l'emploi. L'auteur a retravaillé le script à la main :

  • il a ajouté l'analyse des journaux, afin de vérifier non seulement les codes de retour mais aussi les messages dans deploy.log ;
  • il a simulé des pannes réseau avec l'utilitaire tc : limitation de la bande passante et perte de paquets ;
  • il a regroupé les scénarios positifs similaires pour ne pas allonger la durée d'exécution ;
  • il a écrit un convertisseur, car le JSON « plat » du modèle ne convenait pas à Jenkins, et il en a tiré un arbre avec les métriques success_rate, total_time, failed_scenarios.

Le processus s'est déroulé par cycles : requête, squelette, analyse, retouche, exécution, analyse des journaux, ajustement de la requête. Chaque tour réduisait le travail manuel, mais demandait du temps de vérification.

Ce qui a été obtenu et comment le lire

L'auteur rapporte les résultats suivants :

  • développement des tests : de 2 semaines à 2 jours ;
  • couverture des scénarios : de 60 % à 95 %, en tenant compte des cas limites et extrêmes ;
  • nombre de scénarios : 600 contre 200 en travail manuel, pour une durée d'exécution identique ;
  • temps d'analyse des rapports : réduit de 30 % ;
  • aucun incident en production après le déploiement.

L'article donne aussi d'autres exemples. Pour la page « Contrepartie », le modèle a produit 80 scénarios en cinq minutes, que l'équipe a complétés à hauteur de 15 %. Pour un cahier des charges bancaire de 150 pages, l'auteur évoque 120 scénarios au lieu de 20 écrits à la main, et un démarrage des tests accéléré de 30 à 40 %.

Ces chiffres doivent être lus avec prudence. Il s'agit d'un seul projet et de l'auto-évaluation de l'auteur, et non d'une comparaison contrôlée. Le texte ne précise ni le modèle utilisé, ni le nombre de tokens ni le budget consommés au fil des itérations. La conclusion « aucun incident en production » ne peut pas être entièrement attribuée à l'IA : d'autres modifications ont aussi pu jouer. Les autres parties de l'article, par exemple celles consacrées aux tests adaptatifs et à la priorisation, reposent, de l'aveu même de l'auteur, sur l'expérience de collègues et sur des démonstrations d'outils, et non sur sa propre mise en œuvre.

Enseignements pratiques

Premièrement : la qualité des données d'entrée compte davantage que l'astuce de la requête. Une documentation contradictoire produit des tests contradictoires ; il faut donc d'abord la ramener à un référentiel unique.

Deuxièmement : le rôle et l'objectif dans la requête fonctionnent. La consigne « trouve les associations interdites et ne casse pas le pipeline » a poussé le modèle à chercher des cas négatifs et limites, plutôt que de reprendre les exemples de l'aide.

Troisièmement : demandez dès le départ un format de sortie que votre CI sait lire. Mais prévoyez du temps pour un convertisseur : la structure de la réponse du modèle correspond rarement aux attentes de Jenkins ou d'un autre système.

Quatrièmement, les limites que signale l'auteur lui-même. Une documentation de plus de 50 à 100 pages gagne à être découpée en blocs ou à être reliée à un RAG, sans quoi le modèle perd le milieu du texte. Pour les journaux sensibles, mieux vaut recourir à des modèles locaux. Le résultat du modèle reste un brouillon : 10 à 20 % des scénarios devront de toute façon être repris par un humain.

Dossier

Questions clés sur cet article

Que sait-on sur Le problème : des combinaisons de flags faciles à oublier ?

Le script accepte un ensemble de clés : --file, --delete, --dry-run, --exclude et d'autres. Certaines combinaisons sont valides, d'autres entrent en conflit. Par exemple, --file avec --delete, ou --dry-run avec --exclude, doivent être vérifiées séparément. Coder à la main toutes les combinaisons prend du temps, et le risque de passer à côté d'une association dangereuse est élevé. La difficulté ne tenait pas seulement au nombre de combinaisons. La documentation se contredisait elle-même.

Comment l'auteur a travaillé avec le modèle?

La première étape a été la moins automatisée. Poliakov a « nettoyé » les données à la main : il a isolé les règles canoniques, supprimé les exemples obsolètes et constitué un référentiel unique des flags. Selon lui, sans cela, le modèle aurait généré des scénarios aussi contradictoires que les documents de départ. Il a ensuite construit une requête en quatre parties : le texte d'aide du script, la matrice des conflits, des exemples de commandes et les journaux des exécutions échouées.

Que sait-on sur Ce qui a été obtenu et comment le lire ?

L'auteur rapporte les résultats suivants : développement des tests : de 2 semaines à 2 jours ; couverture des scénarios : de 60 % à 95 %, en tenant compte des cas limites et extrêmes ; nombre de scénarios : 600 contre 200 en travail manuel, pour une durée d'exécution identique ; temps d'analyse des rapports : réduit de 30 % ; aucun incident en production après le déploiement. L'article donne aussi d'autres exemples.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…