Habr AI : pourquoi les systèmes agentiques exigent de nouvelles métriques de contrôle et de sécurité

Le passage des chatbots aux systèmes agentiques change l'objet même du contrôle. Auparavant, il suffisait de juger l'utilité et la justesse de la réponse du modèle à une requête ; il faut désormais évaluer toute la chaîne d'actions que le modèle construit lui-même. Un agent ne se contente pas de générer du texte : il planifie des étapes, choisit des outils, demande des données, peut déléguer une partie du travail à d'autres agents et prend des décisions intermédiaires. Dans une telle architecture, une belle réponse finale ne garantit plus que le système a fonctionné de façon fiable, sûre et économe.

Pour un chatbot classique, les principales métriques étaient généralement la qualité de la réponse, la précision de la formulation, la pertinence et la satisfaction des utilisateurs. Pour un agent, cela ne suffit pas, car l'erreur peut apparaître bien avant le message final. Le système peut mal découper la tâche en étapes, choisir un outil inadapté, terminer le scénario trop tôt, s'enfermer dans des actions répétitives ou, à l'inverse, multiplier les étapes superflues et consommer trop de tokens, de temps et de requêtes externes. L'attention se porte donc non seulement sur le résultat, mais aussi sur la trajectoire suivie par l'agent pour y parvenir.

L'éventail de métriques s'élargit en conséquence. En premier vient la part de tâches menées à bien : il ne s'agit pas seulement de savoir si l'agent a donné une réponse plausible, mais s'il a atteint l'objectif de l'utilisateur sans intervention manuelle. À côté figurent les indicateurs de qualité de la planification : la logique des étapes choisies, le nombre d'étapes réellement nécessaires et la fréquence à laquelle le plan doit être refait en cours d'exécution.

Il faut aussi mesurer séparément la justesse des appels d'outils : l'agent a-t-il choisi la bonne API, transmis des paramètres valides, obtenu le résultat attendu et su traiter correctement une erreur ? Pour les systèmes multi-agents s'ajoutent des métriques de coordination : les agents dupliquent-ils le travail les uns des autres, perdent-ils le contexte ou créent-ils des actions contradictoires ?

Le coût et l'observabilité comptent tout autant. Les systèmes agentiques coûtent presque toujours plus cher qu'un dialogue ordinaire, car chaque étape supplémentaire, chaque appel à un modèle ou à un service externe a un prix. Le contrôle doit donc suivre le nombre moyen d'itérations par tâche, la consommation de tokens, la fréquence des requêtes répétées, la durée d'exécution et la part d'actions dénuées de sens.

Parallèlement, les exigences de traçabilité augmentent : l'équipe doit voir quelle décision l'agent a prise à chaque étape, sur quelles données il s'est appuyé, pourquoi il a choisi tel outil et à quel moment il s'est écarté du scénario attendu. Sans cette transparence, il est impossible de déboguer le comportement, d'enquêter sur les pannes ou de démontrer la conformité aux politiques internes.

Les exigences de sécurité évoluent aussi. Si le chatbot risquait surtout de produire un texte incorrect ou dangereux, l'agent peut accomplir une action indésirable : envoyer une requête au mauvais endroit, obtenir un accès excessif aux données, modifier un enregistrement dans un système ou utiliser un outil hors du contexte autorisé. L'architecture agentique requiert donc des droits d'accès granulaires, une approche sandbox pour les outils, des politiques strictes d'exécution des actions, des limites d'autonomie et des mécanismes d'arrêt si le système adopte un comportement suspect. La sécurité cesse d'être un filtre en entrée et en sortie et devient une partie de la boucle opérationnelle.

Un autre changement touche à l'exploitation. Pour un système agentique, il ne suffit pas d'accomplir la tâche dans le scénario idéal : il doit aussi se dégrader de façon sûre en cas de défaillance. Les métriques de récupération deviennent utiles : à quelle fréquence l'agent peut corriger sa propre erreur, quand il transmet la tâche à un humain, combien d'incidents nécessitent une analyse manuelle et à quelle vitesse l'équipe peut reproduire un problème à partir des journaux. En pratique, les équipes produit et plateforme doivent concevoir non seulement l'intelligence de l'agent, mais aussi ses modes de défaillance, sa supervision et ses procédures d'intervention.

La principale conclusion est que l'on ne peut pas évaluer les systèmes agentiques avec les mêmes règles que les interfaces de chat ordinaires. Les entreprises doivent passer de la vérification de la qualité des réponses à une véritable ingénierie de l'exécution : mesurer l'achèvement des tâches, la robustesse des plans, la justesse des appels d'outils, le coût, la traçabilité et le respect des règles de sécurité. Plus un LLM devient autonome, plus son contrôle ressemble à la supervision d'un service logiciel complexe, et moins à la relecture de répliques réussies ou ratées.