AWS ouvre Agent-EvalKit : une évaluation systématique des agents IA en six phases

AWS a publié Agent-EvalKit, un outil open source (Apache 2.0) pour évaluer systématiquement les agents IA. Le framework s'intègre à Claude Code, Kiro CLI et Kilo Code et fait passer l'agent par six phases de vérification successives.

Pourquoi évaluer les agents

Développer un agent IA n'est pas difficile. Savoir s'il fonctionne bien est une tout autre affaire. Un agent peut renvoyer des réponses plausibles tout en appelant des outils superflus, en consommant bien plus de tokens que nécessaire ou en sautant des étapes critiques de sa chaîne de raisonnement. Les métriques classiques comme l'accuracy ne suffisent pas ici : un agent est un système dynamique, où compte non seulement le résultat final, mais tout le chemin parcouru. Le journal des outils, l'ordre des appels et les décisions intermédiaires influencent la fiabilité de l'agent en production. C'est pourquoi l'équipe d'AWS a créé une infrastructure d'évaluation spécialisée.

Les six phases de vérification

Le framework fait passer l'agent par six étapes, dans l'ordre :

• Préparation de la tâche — constitution d'un ensemble de cas de test avec données d'entrée, contexte et réponses de référence
• Exécution de l'agent — exécution des tâches dans un environnement contrôlé, avec enregistrement complet de la trace
• Évaluation de la trajectoire — vérification que l'agent a appelé les bons outils dans le bon ordre
• Évaluation de la réponse finale — comparaison du résultat avec la référence sur le contenu, la structure et la précision
• Analyse de sécurité — détection des comportements indésirables et des sorties du cadre de la tâche assignée
• Génération du rapport — agrégation des métriques et calcul d'un score final ventilé par catégorie

Chaque phase se configure séparément : on peut lancer uniquement l'évaluation de la trajectoire, uniquement le rapport final ou le cycle complet.

Exemple : un agent de voyage

Pour la démonstration, AWS présente un agent écrit avec le Strands Agents SDK et tournant sur Amazon Bedrock. L'agent reçoit une requête de l'utilisateur, par exemple « Planifie un voyage de sept jours à Tokyo avec un budget de $2000 », recherche des vols et des hôtels via des outils externes, analyse les sites touristiques et renvoie un itinéraire final.

Agent-EvalKit contrôle cet agent sur les six phases : il vérifie que l'outil de recherche de vols a été appelé avant celui des hôtels, que la réponse finale contient des dates et des prix précis, que l'agent n'a pas dépassé le budget et n'a pas inventé de vols inexistants. Ce type de contrôle fait ressortir des erreurs que les tests manuels habituels laissent passer.

Intégration avec les assistants IA

La différence majeure d'Agent-EvalKit avec ses équivalents tient à sa profonde intégration avec les assistants de code IA. Claude Code, Kiro CLI et Kilo Code peuvent lancer l'évaluation directement dans l'environnement de travail du développeur, sans passer par une plateforme distincte ni configurer un pipeline à part.

Le framework est distribué sous licence Apache 2.0. Le code source est ouvert sur GitHub, et la documentation fournit des exemples prêts à l'emploi pour plusieurs frameworks d'IA populaires.

«

Nous voulions créer une infrastructure d'évaluation que les développeurs puissent brancher en quelques minutes, sans la construire de zéro », écrivent les auteurs sur le blog AWS Machine Learning.

Ce que cela signifie

Un outil d'évaluation standardisé constitue une étape importante vers l'usage industriel des agents IA. Sans moyen de mesurer systématiquement la qualité d'un agent sur des tâches réelles, il est difficile de justifier son emploi dans des processus métier critiques. Agent-EvalKit propose une méthodologie concrète à la place des tests manuels.