Comment mesurer le travail d'un agent IA en QA : l'histoire d'un benchmark

Quand un agent IA travaille sur des tâches de test, une question devient douloureuse : est-il vraiment meilleur qu'hier ? On ne peut pas y répondre à la légère : il faut des chiffres. Mikhail Fedorov, développeur de QA Assist, s'est heurté de plein fouet à ce problème. QA Assist est un système de 11 agents IA qui couvrent ensemble tout le cycle de test, de la décomposition des exigences jusqu'aux tests automatisés prêts à l'emploi. Mais comment savoir si le système s'est amélioré après la dernière mise à jour ? À l'œil, ce n'est pas fiable.

Pourquoi l'évaluation à l'œil ne fonctionne pas

L'évaluation subjective peut déraper n'importe où : hier l'agent a trouvé 5 bugs, aujourd'hui 7, mais peut-on être sûr que c'est le système qui s'est amélioré, et non que le jeu de tests a simplement changé ? Des versions de modèle différentes, des prompts différents, des paramètres de température du LLM différents influencent le résultat. Sans benchmark systématique, il est difficile de déterminer ce qui aide vraiment.

Fedorov a réglé le problème de façon radicale : il a monté un projet de benchmark distinct, dans lequel l'agent travaille selon les mêmes règles, sur les mêmes exigences, avec les mêmes cas limites.

Ce que sait faire le benchmark

• Comparer différentes versions de l'agent sur un même jeu de données
• Tester l'effet d'améliorations isolées du pipeline (prompt engineering, modifications de la logique de décomposition)
• Expérimenter avec des modèles : GPT-5.5 vs Claude vs d'autres
• Suivre les progrès dans le temps, avec une visualisation des améliorations
• Générer un rapport complet sur le pourcentage de bugs trouvés, d'oublis et de faux positifs

Important : un benchmark ne signifie pas un « jeu de tests parfait ». Il signifie un jeu de tests contrôlé, avec le moins de variables possible, où chaque exécution est reproductible.

Les artefacts d'une seule exécution

À chaque exécution, l'agent prépare un paquet complet : les exigences extraites et leur décomposition, des scénarios de test avec leurs étapes, le code des tests automatisés prêt à l'emploi, un rapport de couverture et d'oublis, et un journal des décisions acceptées et rejetées. Tous les artefacts sont stockés dans un dépôt public, où l'on peut voir comment l'agent raisonne sur différents exemples. C'est utile non seulement pour suivre les progrès, mais aussi pour déboguer : quand l'agent se trompe, on voit à quelle étape du pipeline et pourquoi.

Ce que cela signifie

Pour les développeurs d'outils de QA, les benchmarks deviennent obligatoires : c'est le seul moyen d'être honnête avec soi-même sur la qualité du travail. L'accès libre au projet de Fedorov montre qu'une telle transparence est possible. Les autres équipes qui travaillent avec des agents IA dans le test savent désormais quoi faire dès le départ.