Comment mesurer la performance d'un agent AI en QA : l'histoire d'un benchmark

Quand un agent AI travaille sur des tâches de test, la question principale devient pressante : est-il vraiment meilleur qu'hier ? Cette question ne peut pas être répondue simplement — vous avez besoin de chiffres. Mikhail Fedorov, développeur de QA Assist, a fait face à ce problème de front. QA Assist est un système de 11 agents AI qui ensemble couvrent tout le cycle de test : de la décomposition des exigences aux tests automatisés prêts. Mais comment évaluer si le système s'est amélioré après la prochaine mise à jour ? À vue d'œil — peu fiable.

Pourquoi les Évaluations Visuelles ne Fonctionnent Pas

L'évaluation subjective peut être trompeuse : l'agent a trouvé 5 bugs hier, 7 aujourd'hui, mais pouvez-vous être certain que le système s'est vraiment amélioré plutôt que l'ensemble de test ait simplement changé ? Différentes versions de modèles, différents prompts, différents paramètres de température de LLM — tout cela affecte le résultat. Sans un benchmark systématique, il est difficile de déterminer ce qui aide exactement. Fedorov a résolu le problème radicalement : il a créé un projet de benchmark séparé où l'agent fonctionne avec les mêmes règles, sur les mêmes exigences, avec les mêmes cas limites.

Ce que le Benchmark Peut Faire

• Comparer différentes versions de l'agent sur le même ensemble de données
• Tester l'impact des améliorations individuelles du pipeline (ingénierie des prompts, changements dans la logique de décomposition)
• Expérimenter avec les modèles : GPT-5.5 vs Claude vs autres
• Suivre les progrès au fil du temps avec visualisation des améliorations
• Générer un rapport complet sur le pourcentage de bugs trouvés, d'omissions et de faux positifs

Important : un benchmark ne signifie pas « un ensemble de test idéal ». Cela signifie un ensemble de test contrôlé, où les variables sont minimisées et chaque exécution est reproductible.

Artefacts dans une Seule Exécution

À chaque exécution, l'agent prépare un package complet — exigences documentées et leur décomposition, scénarios de test avec étapes, code de test automatisé prêt, rapport de couverture et d'omissions, journal des décisions acceptées et rejetées. Tous les artefacts sont stockés dans un référentiel public, vous pouvez donc voir comment l'agent raisonne sur différents exemples. Ceci est utile non seulement pour suivre les progrès, mais aussi pour le débogage : quand l'agent commet une erreur, vous pouvez voir à quelle étape du pipeline et pourquoi.

Ce que Cela Signifie

Pour les développeurs d'outils QA, les benchmarks deviennent obligatoires — c'est le seul moyen d'être honnête avec soi-même sur la qualité du travail. L'accès ouvert au projet de Fedorov démontre qu'une telle transparence est possible. Les autres équipes travaillant avec des agents AI en test savent maintenant ce qui doit être fait dès le départ.