AWS publie UAEF : un outil gratuit pour tester les agents IA selon 36 métriques

Le scénario est bien connu : vous modifiez une ligne du prompt système, l'agent répond mieux à votre question de test favorite, et vous déployez le changement. Une semaine plus tard, vous découvrez qu'il confond les arguments lors des appels à une API interne et répond avec trop d'assurance à certaines requêtes. Personne ne l'avait remarqué, car l'agent était évalué à vue de nez. AWS a publié UAEF, un outil gratuit et open source, précisément pour éviter ce scénario.

Quel problème UAEF résout-il ?

Le code classique se vérifie avec des tests : on modifie une fonction, on lance la suite de tests, et un échec apparaît en rouge. Avec les agents, les choses ne fonctionnent pas ainsi. Le résultat dépend du modèle, du prompt, des outils disponibles et même de l'ordre des étapes choisi par l'agent cette fois-ci. Passez à un modèle plus récent ou moins cher, et la qualité peut s'améliorer sur certains points tout en se dégradant discrètement sur d'autres.

Selon l'annonce, UAEF évalue l'agent selon 36 dimensions. Elles couvrent un large spectre, de l'utilisation des outils à la sécurité. Sa fonction clé consiste à comparer les états de l'agent et à montrer si une modification du prompt ou un remplacement du modèle a entraîné une dégradation. C'est précisément le type de régression que les utilisateurs finissent généralement par découvrir eux-mêmes.

Ce que l'on sait à ce jour

La source d'origine donne peu de détails. Nous nous en tenons donc aux éléments confirmés :

• l'outil est gratuit et open source, et a été publié par Amazon Web Services ;
• il propose 36 contrôles, qui couvrent à la fois la qualité de fonctionnement et la sécurité ;
• il fonctionne avec plusieurs frameworks d'agents et n'exige donc pas de réécrire l'agent pour une pile technique particulière ;
• il signale lorsqu'une modification du prompt ou du modèle a dégradé le comportement de l'agent.

Le dernier point compte davantage que les autres. Ce qui manque à beaucoup d'équipes, ce n'est pas un joli rapport, mais une réponse simple à cette question : peut-on déployer cette version ? Si l'outil apporte cette réponse automatiquement, il devient réellement possible de l'intégrer au processus.

Comment l'utiliser en pratique

Imaginez un agent de support qui retrouve une commande, vérifie l'état de la livraison et, si nécessaire, effectue un remboursement. Il fonctionne actuellement avec un modèle donné. Vous souhaitez passer à un autre, un tiers moins cher. Sans suite de tests de régression, vous comparez manuellement une dizaine de conversations et espérez que tout ira bien.

Avec un outil comme UAEF, la démarche change :

1. Enregistrez la version actuelle de l'agent comme référence.
2. Exécutez la même évaluation avec le nouveau modèle ou le nouveau prompt.
3. Repérez les métriques en baisse, par exemple la justesse des appels d'outils ou la sécurité.
4. Décidez si les économies justifient la dégradation constatée.

Si vous disposez déjà d'une intégration continue, il est logique d'effectuer ce contrôle avant de déployer toute modification du prompt, et pas seulement avant de changer de modèle. Les prompts peuvent tout aussi souvent perturber le comportement de l'agent.

Pour un responsable produit, cela donne un vocabulaire commun pour discuter de la qualité : au lieu de dire « cela semble mieux », on peut préciser « ces dimensions s'améliorent, celles-ci se dégradent ». Pour un fondateur, c'est un moyen de ne pas dépendre d'un seul fournisseur de modèles, puisque changer de prestataire cesse d'être un saut dans l'inconnu.

Ce qui manque encore

Quelques réserves subsistent. La description disponible ne précise ni le mode de calcul des métriques, ni les frameworks pris en charge d'emblée, ni la nécessité de fournir ses propres scénarios de référence, ni le coût d'une exécution en tenant compte des appels aux modèles évaluateurs. Il faudra vérifier ces points dans le dépôt et la documentation.

Autre mise en garde : 36 métriques universelles ne remplacent pas les tests propres à vos processus métier. Elles repèrent bien les défaillances générales, mais ne savent pas que, dans votre entreprise, un remboursement au-delà d'un certain montant doit faire l'objet d'une validation manuelle. Vous devrez toujours écrire ces scénarios vous-mêmes.

La direction reste néanmoins la bonne. L'évaluation des agents demeure un point faible pour la plupart des équipes. L'arrivée d'un outil gratuit proposé par un grand fournisseur de cloud et compatible avec différents frameworks abaisse la barrière à l'entrée. La première étape est simple : prenez votre agent le plus important, évaluez-le avec UAEF et conservez le résultat comme référence avant la prochaine modification du prompt.