Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

AutoJudge de Sber : l'agent responsable de l'erreur identifié dans 67 % des cas, contre 55 %

Dans une chaîne d'agents IA, une erreur précoce, comme un chiffre mal lu, finit par se retrouver dans la réponse finale comme une « solution commune ». AutoJudge de Sber AI Lab assemble lui-même des juges pour chaque exécution et, à partir du journal, désigne l'agent qui s'est trompé en premier. Sur le test Who&When, avec le même GPT-4o, le coupable est trouvé dans 67,24 % des cas, contre 55,17 % auparavant. Il faut donc vérifier l'ensemble du parcours, et non seulement la réponse finale.

Traité par IA depuis Habr AI ; édité par Hamidun News
AutoJudge de Sber : l'agent responsable de l'erreur identifié dans 67 % des cas, contre 55 %
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Un méta-agent constitue les jugesun pipeline distinct pour chaque exécution du système
Mode économiqueun seul pipeline pour tout le jeu de données, avec une adaptation moins fine
Chiffre clé #3En cas de désaccord entre juges, l'agrégateur relit le journal original des étapes

Imaginez un système composé de plusieurs agents IA. Le premier extrait mal un chiffre d'un document, le deuxième calcule honnêtement un résultat à partir de ce chiffre, le troisième rédige soigneusement le rapport. Chaque étape semble raisonnable, mais la réponse globale est fausse, et impossible de savoir, à partir du texte final, qui a fait la première erreur.

L'équipe de recherche appliquée de Sber AI Lab propose AutoJudge : le système assemble lui-même un ensemble de « juges » qui analysent le journal d'exécution des agents et indiquent à quelle étape et chez quel agent l'erreur s'est produite. Sur le test Who&When, qui demande d'identifier l'agent fautif à partir de l'historique d'exécution, la précision avec le même modèle GPT-4o est passée de 55,17 % à 67,24 %.

Pourquoi la vérification de la réponse finale ne suffit pas

Tant qu'un LLM se contente de répondre dans un chat, on peut repérer l'erreur à l'œil nu. Mais lorsque la réponse est enregistrée en mémoire, devient l'entrée de l'étape suivante ou déclenche une action, la vérification manuelle ne tient plus. La détection d'hallucinations, c'est-à-dire la recherche automatique d'affirmations absentes des données du système, devient donc une partie du circuit de production.

Dans le RAG, on parle souvent d'hallucination contextuelle. Le document indique : « L'étude a porté sur 120 personnes. » Le modèle répond : « …réparties à parts égales entre groupe témoin et groupe expérimental. » Le nombre vient de la source, mais la répartition égale a été inventée par le modèle. Ce qui compte n'est pas seulement de savoir si l'affirmation est vraie, mais si elle est étayée par ce que le système a réellement reçu.

Pour une réponse isolée, il existe trois familles de méthodes :

  • Estimation de l'incertitude. On examine les probabilités des tokens ou la divergence entre plusieurs réponses générées. Aucun modèle supplémentaire n'est nécessaire, mais la confiance ne garantit pas l'exactitude : un LLM peut se tromper avec assurance.
  • Sondage des états internes. On entraîne un petit classifieur sur les représentations cachées du modèle. Si le générateur n'est accessible que par API, on utilise un modèle ouvert de substitution. Il faut au minimum 300 à 500 exemples annotés.
  • Modèles juges. Il s'agit soit d'un classifieur compact basé sur BERT, soit d'un LLM génératif jouant le rôle de juge. Le LLM est plus souple et convient quand les annotations sont rares, mais il coûte plus cher. Pour affiner un juge, il faut au moins 1 000 exemples.

Pour ne pas construire une infrastructure distincte pour chaque méthode, Sber AI Lab a développé la bibliothèque SIRIN. Elle offre une interface unique pour ces trois approches, fonctionne aussi bien avec des modèles ouverts que fermés, et recherche le problème dans la réponse entière ou dans un fragment précis. Elle vérifie également, avant la génération, si les documents trouvés suffisent pour répondre : sinon, on peut relancer la recherche ou refuser de répondre.

Comment AutoJudge vérifie l'historique du travail des agents

Dans un système multi-agents, l'objet à contrôler est différent : c'est l'ensemble de l'historique des messages des agents, des appels d'outils et de leurs résultats. Aux hallucinations s'ajoutent les erreurs de planification, d'utilisation des outils, de communication et d'agrégation. Les méthodes existantes d'évaluation de ces historiques sont généralement liées à une liste figée de types d'erreurs et à un pipeline de vérification prédéfini. Dès que le système ou les critères changent, tout doit être reconçu.

AutoJudge reçoit en entrée l'historique d'exécution, une taxonomie d'évaluation (c'est-à-dire la liste des types d'erreurs à rechercher) et le schéma du résultat attendu. Ensuite, un méta-agent analyse la tâche et crée lui-même un ensemble de juges intermédiaires spécialisés, ainsi qu'un agrégateur final. Les juges examinent différentes étapes du travail, et l'agrégateur confronte leurs conclusions aux données d'origine. Il ne s'agit pas d'un simple vote : si les évaluations divergent, l'agrégateur revient à l'historique initial et tranche la contradiction.

Le système propose deux modes. Dans le mode principal, un pipeline distinct est créé pour chaque exécution : c'est plus coûteux, mais l'adaptation au comportement des agents est meilleure. Dans le mode économique, un seul pipeline est réutilisé pour l'ensemble du jeu de données. Lors des expériences, l'adaptation à chaque exécution s'est en général révélée plus utile, surtout lorsque les agents se comportent différemment.

La taille des journaux pose par ailleurs un problème. Les messages des agents associés aux résultats des outils peuvent ne pas tenir dans le contexte de chaque juge. AutoJudge peut donc travailler avec l'historique complet comme avec une version condensée : les juges voient les étapes résumées, et l'original pertinent est récupéré ponctuellement depuis un stockage externe.

Que faire en pratique

Le gain de 55,17 % à 67,24 % a été obtenu avec le même GPT-4o : il ne s'explique donc pas par un modèle plus puissant. Le test a aussi été mené sur plusieurs autres jeux de données : les pipelines construits dynamiquement sont restés compétitifs et ont souvent dépassé les variantes figées.

Les auteurs ne présentent pas AutoJudge comme une référence universelle : sur des métriques très spécialisées, des juges configurés à la main restent parfois plus performants. Le mode adaptatif coûte plus cher, et la compression de l'historique peut faire perdre un détail important.

Pour ceux qui construisent des agents, la conclusion est la suivante : journalisez les étapes et les résultats des outils de façon à pouvoir les analyser après exécution. Dans le RAG, placez une vérification de la suffisance du contexte avant la génération. Dans les chaînes de plusieurs agents, évaluez l'ensemble du parcours, et pas seulement la réponse finale. La question « la réponse est-elle étayée ? » devient alors plus utile : « à quelle étape le système s'est-il trompé ? ».

Dossier

Questions clés sur cet article

Pourquoi la vérification de la réponse finale ne suffit pas?

Tant qu'un LLM se contente de répondre dans un chat, on peut repérer l'erreur à l'œil nu. Mais lorsque la réponse est enregistrée en mémoire, devient l'entrée de l'étape suivante ou déclenche une action, la vérification manuelle ne tient plus. La détection d'hallucinations, c'est-à-dire la recherche automatique d'affirmations absentes des données du système, devient donc une partie du circuit de production. Dans le RAG, on parle souvent d'hallucination contextuelle.

Comment AutoJudge vérifie l'historique du travail des agents?

Dans un système multi-agents, l'objet à contrôler est différent : c'est l'ensemble de l'historique des messages des agents, des appels d'outils et de leurs résultats. Aux hallucinations s'ajoutent les erreurs de planification, d'utilisation des outils, de communication et d'agrégation. Les méthodes existantes d'évaluation de ces historiques sont généralement liées à une liste figée de types d'erreurs et à un pipeline de vérification prédéfini. Dès que le système ou les critères changent, tout doit être reconçu.

Que sait-on sur Que faire en pratique ?

Le gain de 55,17 % à 67,24 % a été obtenu avec le même GPT-4o : il ne s'explique donc pas par un modèle plus puissant. Le test a aussi été mené sur plusieurs autres jeux de données : les pipelines construits dynamiquement sont restés compétitifs et ont souvent dépassé les variantes figées. Les auteurs ne présentent pas AutoJudge comme une référence universelle : sur des métriques très spécialisées, des juges configurés à la main restent parfois plus performants.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…