AWS Strands Evals identifie automatiquement les causes des défaillances des agents IA et propose des corrections

AWS a lancé Strands Evals — un outil de diagnostic automatique des défaillances des agents d'IA. Contrairement aux cadres d'évaluation standard, il n'enregistre pas seulement le fait d'une défaillance, mais détermine la cause racine et suggère des corrections spécifiques — dans l'invite système, la définition de l'outil ou la logique d'orchestration.

Problème : les agents se cassent silencieusement

Les agents d'IA sont des systèmes complexes en plusieurs étapes. Ils appellent des outils, accèdent à des API externes, interprètent les résultats et prennent indépendamment des décisions sur l'étape suivante. Quand quelque chose ne va pas, le débogage devient une enquête de détective : l'agent a donné une réponse incorrecte — mais où exactement s'est-il cassé ?

Dans l'invite système ? Dans la définition de l'outil ? Dans la logique de planification ?

Dans la façon dont la réponse d'une API externe est traitée ? Les cadres d'évaluation traditionnels enregistrent la qualité finale — « l'agent a échoué le test » — mais n'expliquent pas pourquoi. Les développeurs doivent examiner manuellement des centaines de lignes de journaux, construire des hypothèses et expérimenter par essais et erreurs.

Avec des agents complexes avec des chaînes de 10–15 étapes, ce débogage peut s'étendre sur des jours. Strands Evals résout ce problème en ajoutant un diagnostic automatique au processus d'évaluation avec des recommandations spécifiques.

Ce que peut faire Strands Evals

L'outil fonctionne via des fonctions de détecteur qui analysent les traces d'exécution réelles d'un agent et retournent un diagnostic structuré. Capacités clés :

• Catégorisation des défaillances — classe le type d'erreur : sélection incorrecte de l'outil, non-respect des instructions, hallucination, erreur dans la logique de planification, manipulation incorrecte des réponses
• Scores de confiance — chaque catégorie reçoit un score de confiance afin que le développeur comprenne la fiabilité du diagnostic
• Chaînes causales — le système montre quelle cause racine a mené à quels symptômes en aval dans la chaîne d'actions de l'agent
• Recommandations de correction — le détecteur indique directement ce qui doit être corrigé et où : dans l'invite système, dans la définition de l'outil ou dans la logique d'orchestration

«

Sortie structurée avec les défaillances catégorisées, les chaînes causales et les recommandations de correction — pour chaque exécution de test, » — décrit l'équipe du AWS ML Blog l'outil.

Comment intégrer dans eval-pipeline

Strands Evals s'intègre au processus d'évaluation existant sans refonte profonde de l'infrastructure. Le développeur appelle les fonctions de détecteur à chaque exécution de test et obtient un diagnostic automatique aux côtés des métriques de qualité normales — précision, F1, taux de réussite des tâches. La valeur pratique est particulièrement remarquable lors du travail avec de grandes suites de tests.

Au lieu d'analyser manuellement des centaines de traces, l'équipe voit une image agrégée. Si 70% des erreurs de classe « sélection incorrecte de l'outil » se concentrent autour de requêtes d'un certain type — le problème est probablement dans l'invite système, pas dans la mise en œuvre de l'outil lui-même. Ce sont des corrections fondamentalement différentes avec des niveaux d'effort différents : éditer quelques lignes d'invite par rapport à refactoriser du code d'outil.

Pour les équipes effectuant des tests de régression d'agents, l'outil permet également de suivre la dynamique : quelles classes d'erreur augmentent après une mise à jour d'invite et lesquelles disparaissent.

Contexte : Strands SDK

Strands est un SDK d'agent open source d'AWS annoncé en 2025. Il vous permet de construire des systèmes d'agents basés sur les modèles Amazon Bedrock et d'autres LLM, supporte les modèles multi-agents et intègre les outils via le MCP standard. Strands Evals est le composant d'évaluation de ce framework, que AWS développe activement. À mesure que les systèmes d'agents passent des prototypes à la production, les outils de diagnostic deviennent une partie critique de la pile DevOps pour l'IA. Un agent qui mal interprète une tâche ou sélectionne le mauvais outil peut non seulement donner une réponse incorrecte, mais exécuter une action indésirable avec des conséquences réelles.

Qu'est-ce que cela signifie

Strands Evals comble l'une des lacunes clés dans le travail avec les agents d'IA en production : le fossé entre « quelque chose s'est mal passé » et « voici exactement ce qu'il faut et comment le corriger. » Pour les équipes construisant des systèmes d'agents sur AWS, cela réduit le cycle de débogage, réduit la dépendance à l'analyse manuelle des journaux et fait du processus d'évaluation une partie complète du pipeline CI/CD.