Le juge IA a validé l'erreur de l'agent : un seul pourcentage de réussite masquait trois défauts distincts

Imaginez une scène typique du support d'une boutique en ligne. Un client écrit à l'agent : « Annulez la commande précédente ». Or il a deux commandes. Le bon comportement est évident pour n'importe quel opérateur humain : demander laquelle. L'agent, lui, en a choisi une en silence, l'a annulée et a annoncé gaiement que tout était fait. Quant au second IA, chargé de vérifier les réponses, il a attribué une note élevée.

Cette histoire, tirée d'une analyse publiée sur Habr, est intéressante parce qu'elle ne contient aucun mensonge flagrant. Et pourtant, le résultat est mauvais.

Pourquoi le vérificateur n'a rien remarqué

Le vérificateur a comparé le message de l'agent à l'état de la base de données. La commande est bien annulée, le message correspond, donc tout est honnête. Formellement, il a raison : l'agent n'a pas menti sur ce qu'il a fait.

Le problème tient à ce qu'on a demandé au juge d'évaluer. Sa tâche était de vérifier avec quelle exactitude l'agent avait décrit son action. La question « l'agent avait-il le droit d'agir sans demander de précision ? » n'en faisait pas partie. Une note positive a donc laissé passer un défaut que seule une vérification programmatique distincte a détecté.

C'est un piège classique : le juge répond à la question qu'on lui a posée, pas à celle que vous aviez en tête.

Trois défauts distincts sous un seul pourcentage

L'auteur est parti d'une autre hypothèse : il pensait qu'un court ajout à l'instruction dégraderait le travail de l'agent. L'expérience ne l'a pas confirmé. En revanche, l'examen des enregistrements a montré que le chiffre global de réussite cache trois problèmes différents, qui se soignent différemment.

Premier : l'agent a exécuté l'action sans la précision requise, et le vérificateur d'explications ne l'a pas arrêté. Il faut ici vérifier le comportement lui-même, et non le texte de la réponse.

Deuxième : le test exigeait de choisir un code de réponse selon une règle que l'instruction n'expliquait pas complètement. Ce n'est pas une erreur du modèle, mais de formulation : l'agent a été sanctionné pour ce qu'on ne lui avait pas dit. Cela se corrige en modifiant l'instruction ou le test.

Troisième : l'agent a correctement exécuté l'opération, mais le vérificateur a inventé un motif de refus. Autrement dit, le juge a fabriqué un grief. Il faut ici réparer les critères d'évaluation et encadrer le juge pour qu'il n'évalue pas ce qui ne figure pas dans les règles.

Si l'on ne regarde que le pourcentage moyen, les trois cas se ressemblent : « test échoué » ou « test réussi ». Impossible de choisir le bon remède à partir d'un tel chiffre.

Que faire en pratique

Premièrement, séparez l'évaluation de l'action et celle de l'explication. Le fait d'annuler la commande, l'appel du bon outil, la présence d'une question de clarification se vérifient mieux par le code, à partir des journaux et de l'état du système. C'est déterministe et cela ne dépend pas de l'humeur du modèle.

Deuxièmement, pour les commandes ambiguës, faites de la clarification une étape obligatoire du scénario. Si l'utilisateur a deux commandes et que la requête ne comporte pas d'identifiant, le système doit exiger une question. S'en remettre uniquement à la formulation du prompt est risqué.

Troisièmement, donnez au juge IA une grille étroite et explicite. Moins il a de liberté pour « deviner », moins souvent il invente des motifs de refus ou, à l'inverse, approuve ce qu'il ne devrait pas.

Quatrièmement, classez les échecs par type. Pour chaque exécution ratée, répondez à trois questions. L'agent s'est-il trompé ? L'instruction ou le test étaient-ils incomplets ? Le juge s'est-il trompé ? Ce n'est qu'ensuite qu'il est pertinent de changer quelque chose.

Limites

Il s'agit de l'analyse d'un seul ensemble d'expériences portant sur un seul type de scénarios ; on ne peut donc pas en tirer de chiffres universels. Mais le schéma lui-même est largement applicable : partout où une IA en vérifie une autre, il est utile de se demander ce qui est réellement vérifié et ce qui reste hors champ. Un taux de réussite global est pratique pour un rapport, mais presque inutile pour déboguer des agents.