Mycelium : des chercheurs classent les benchmarks d'hallucinations selon trois axes

On compare généralement les détecteurs d'hallucinations des LLM à partir d'un seul chiffre, obtenu sur un seul benchmark. Dans leur méta-étude Mycelium (arXiv 2610.33608, publiée le 24 octobre 2026), Julia Belikova et Elisei Rykov montrent pourquoi ce chiffre en dit moins qu'il n'y paraît. Les benchmarks définissent l'hallucination de façons différentes, obtiennent les textes des modèles par des méthodes différentes et annotent les erreurs à des niveaux différents. Les auteurs proposent de considérer la détection comme un problème de mesure, qui dépend des conditions du benchmark, et introduisent une nouvelle métrique, Span Coverage F1.

Un seul terme, plusieurs tâches différentes

Les hallucinations comptent pour l'évaluation et le déploiement des grands modèles de langage : la fiabilité de leur détection conditionne les systèmes RAG, les assistants et les pipelines d'entreprise. Les nouveaux détecteurs arrivent généralement avec un tableau de résultats sur plusieurs jeux de données. Or si un jeu annote des erreurs factuelles sans contexte, et qu'un autre vérifie la fidélité de la réponse à une source fournie, il s'agit de deux tâches distinctes sous une même appellation. Un score élevé sur la première ne garantit presque rien pour la seconde.

Mycelium analyse comment les choix faits lors de la création du benchmark, de l'annotation et de l'évaluation façonnent la tâche de prédiction finale. Les auteurs confrontent ensuite les mécanismes et les hypothèses des détecteurs eux-mêmes aux conditions dans lesquelles ces détecteurs ont été mesurés.

Trois axes de classification des benchmarks

Les auteurs répartissent tous les benchmarks existants selon trois dimensions :

• Provenance (origine) : la manière dont les sorties du modèle sont obtenues et les conditions de preuve, c'est-à-dire l'origine des textes et les éléments sur lesquels s'appuie la vérification.
• Typology (typologie) : les types de défaillances de factualité (factuality) et de fidélité à la source (faithfulness) reflétés dans les étiquettes du benchmark.
• Granularity (granularité) : le niveau auquel les hallucinations sont annotées, prédites et évaluées. Il peut s'agir de la réponse entière, d'une phrase ou d'un fragment de texte isolé.

Selon la position sur ces axes, la formulation même de la tâche change. D'où la conclusion des auteurs : les comparaisons entre benchmarks ont des limites, et la généralisation d'un détecteur à d'autres conditions doit être évaluée explicitement, et non présumée.

Span

Coverage F1 : quand les frontières d'annotation font tout

Une section distincte est consacrée à l'évaluation au niveau des spans, c'est-à-dire des fragments de texte marqués comme hallucination. Le résultat dépend ici fortement de l'endroit exact où l'annotateur a tracé les frontières. Un benchmark marque un court groupe nominal, un autre la phrase entière. Un détecteur qui a trouvé la même erreur obtiendra des scores différents selon la façon dont les frontières coïncident.

En complément des métriques existantes, les auteurs proposent Span Coverage F1. Elle repose sur l'inclusion (containment) : elle regarde si le fragment prédit couvre le fragment annoté, et pas seulement le degré de chevauchement exact. La métrique est conçue comme complémentaire. Elle ne remplace pas les indicateurs habituels, mais aide à distinguer la qualité réelle de la détection des artefacts d'annotation.

Comment lire les scores des détecteurs

Voici la conclusion pratique pour les équipes qui choisissent ou entraînent des détecteurs :

• Avant de comparer deux scores, vérifiez si les benchmarks partagent la même origine des données, les mêmes types d'erreurs et le même niveau d'annotation. Si ce n'est pas le cas, les chiffres mesurent des choses différentes.
• Pour la production, choisissez le benchmark le plus proche de votre cas d'usage. Pour le RAG, la fidélité à la source compte ; pour les questions ouvertes, c'est la factualité sans contexte.
• Si le détecteur travaille au niveau des spans, regardez comment les frontières sont définies dans l'annotation et ajoutez une métrique fondée sur l'inclusion, comme Span Coverage F1.
• Vérifiez la généralisation : exécutez le détecteur sur des benchmarks aux conditions différentes et communiquez la dispersion des résultats, et non un chiffre unique.

Le code et les matériaux de l'étude se trouvent dans le dépôt lmeribal/mycelium sur GitHub. Les auteurs sollicitent retours et discussions : leur travail se veut une base pour des comparaisons plus honnêtes dans un domaine où le chiffre d'un tableau pèse souvent plus lourd que le contexte dans lequel il a été obtenu.