DialFork a mesuré les hallucinations procédurales des agents sur 36 278 dialogues

L'équipe de l'Idiap a publié DialFork, le premier benchmark qui mesure les hallucinations procédurales des agents conversationnels directement sur le texte brut des échanges. Le jeu de données compte 36 278 dialogues en anglais, 24 tâches, 12 domaines et 4 types d'hallucinations. Les données et le code sont publiés sous licence MIT, et le projet dispose d'un classement public.

Les auteurs des travaux : Sergio Burdisso, Esaú Villatoro-Tello, Dairazalia Sánchez-Cortés, Yanis Labrak, Jordi Luque, Milos Cernak et Petr Motlicek.

L'agent est poli, les faits sont exacts, mais il n'y a pas de résultat

Les auteurs expliquent le problème à travers un exemple simple. Vous demandez à un agent LLM de vérifier la météo. Il est aimable, s'exprime correctement et ne dit rien de faux. Mais vingt répliques plus tard, vous n'avez toujours pas de prévision. L'agent a cessé de suivre la procédure qui lui avait été assignée.

C'est exactement cela, une hallucination procédurale. Les vérificateurs de faits ne la détectent pas, car les affirmations sont correctes. Les métriques de qualité réplique par réplique la laissent également passer : chaque tour, pris isolément, semble bon. La défaillance ne se manifeste que dans la trajectoire de l'ensemble de la conversation.

Plus les agents sont déployés pour le service client, la prise de rendez-vous médicaux, la collecte de demandes et les scénarios bancaires, plus ce dérapage coûte cher. Le scénario y est rigide, et s'en écarter constitue une erreur, même si le discours paraît convaincant.

Comment on construit un fork et d'où vient l'annotation

La trouvaille principale de DialFork, c'est qu'il n'y a besoin d'aucune annotation manuelle. On prend un dialogue où l'agent fait tout correctement. On le reproduit avec la même seed. À un moment choisi, on donne à l'agent une nouvelle instruction, et la conversation « se ramifie ».

La position du fork fournit immédiatement deux étiquettes. La première indique à quel point la branche s'est éloignée du scénario de référence. La seconde indique le tour à partir duquel l'écart a commencé. Pour chaque dialogue, ces étiquettes sont obtenues automatiquement.

La construction a été vérifiée manuellement : 30 annotateurs ont confirmé que les forks sont bien construits comme prévu.

Trois tâches et deux métriques qui observent le déroulement de la conversation

Le benchmark décrit l'écart à trois niveaux de granularité :

• Set-to-set distance (monitoring). On évalue dans quelle mesure un ensemble de dialogues de l'agent déployé diffère de l'ensemble de référence. Cette tâche sert à l'équipe qui surveille l'agent en production.
• Dialog-to-dialog distance (recherche procédurale). On évalue dans quelle mesure un dialogue donné s'écarte du dialogue de référence, et cette distance permet de rechercher des dialogues suivant une procédure similaire.
• Turn prediction (guardrails en temps réel). Il s'agit de déterminer le tour à partir duquel le dialogue a dérapé pour la première fois. C'est précisément sur cette formulation que s'appuient les mécanismes de protection fonctionnant en temps réel.

Pour les deux premières tâches, les auteurs ont proposé leurs propres métriques, qui tiennent compte du flux du dialogue :

• FlowKL compare des ensembles de dialogues.
• FlowScore compare des dialogues individuels.

Les deux métriques évaluent la façon dont la conversation se déroule, et non son sujet. Au niveau d'un dialogue individuel, FlowScore, selon les auteurs, surpasse de manière significative toutes les méthodes de référence sur sept encodeurs différents. La conclusion est directe : la proximité sémantique des textes ne remplace pas la proximité des procédures. Deux dialogues peuvent porter sur la même chose tout en suivant des chemins différents, et les plongements classiques ne perçoivent pas cette différence.

Que peuvent en faire les développeurs

Si vous construisez des agents à scénario rigide, DialFork offre trois applications pratiques.

Premièrement : faire tourner votre système sur les 24 tâches issues des 12 domaines pour obtenir une évaluation du dérapage que ne fournissent pas les métriques réplique par réplique. Deuxièmement : utiliser FlowKL pour le monitoring. On peut comparer la distribution des dialogues en production à la distribution de référence et détecter un décalage avant même les plaintes des utilisateurs. Troisièmement : utiliser la tâche de prédiction du tour pour entraîner et tester des guardrails qui interrompent l'agent ou le remettent sur le scénario dès le premier écart, et non au vingtième.

Le jeu de données est disponible sur Hugging Face, dans l'organisation DialFork ; le code et le classement se trouvent dans le dépôt de l'Idiap sur GitHub. La licence MIT permet d'utiliser ces éléments dans des projets commerciaux. Pour l'instant, le benchmark n'existe qu'en anglais, donc pour d'autres langues, il faudra reproduire soi-même la méthodologie des forks. En revanche, la procédure elle-même est facile à reproduire : il faut un dialogue fonctionnel, une seed fixe et un point où l'on glisse une nouvelle instruction à l'agent.