Mycelium : des chercheurs décomposent les benchmarks de détection d'hallucinations selon trois axes

On a l'habitude de comparer les détecteurs d'hallucinations des LLM à l'aide d'un seul chiffre sur un seul benchmark. Julia Belikova et Elisei Rykov, dans leur méta-étude Mycelium (arXiv 2610.33608, publiée le 24 octobre 2026), montrent pourquoi ce chiffre dit moins qu'il n'y paraît. Les benchmarks définissent l'hallucination de manières différentes, obtiennent les textes des modèles par des méthodes différentes et annotent les erreurs à des niveaux différents. Les auteurs proposent de considérer la détection comme une tâche de mesure dépendant des conditions du benchmark, et introduisent une nouvelle métrique, Span Coverage F1.

Un seul terme, de nombreuses tâches différentes

Les hallucinations sont un enjeu central pour l'évaluation et le déploiement des grands modèles de langage : la fiabilité avec laquelle on les détecte conditionne les systèmes RAG, les assistants et les pipelines d'entreprise. Les nouveaux détecteurs arrivent généralement avec un tableau de résultats sur plusieurs jeux de données. Mais si l'un de ces jeux annote des erreurs factuelles sans contexte, tandis qu'un autre vérifie la fidélité de la réponse à une source donnée, il s'agit alors de deux tâches distinctes portant le même nom. Un score élevé sur la première ne garantit presque rien pour la seconde.

Mycelium analyse comment les choix effectués lors de la construction d'un benchmark, de son annotation et de son évaluation façonnent la tâche de prédiction finale. Les auteurs confrontent ensuite les mécanismes et les hypothèses des détecteurs eux-mêmes aux conditions dans lesquelles ces détecteurs ont été mesurés.

Trois axes de classification des benchmarks

Les auteurs classent l'ensemble des benchmarks existants selon trois dimensions :

• Provenance : comment les sorties du modèle ont été obtenues et dans quelles conditions de preuve, c'est-à-dire d'où viennent les textes et sur quels éléments de preuve repose la vérification.
• Typology (typologie) : quels types de défaillances de factualité (factuality) et de fidélité à la source (faithfulness) sont reflétés dans les étiquettes du benchmark.
• Granularity (granularité) : à quel niveau les hallucinations sont annotées, prédites et évaluées. Cela peut être la réponse entière, une phrase ou un fragment de texte isolé.

Des positions différentes sur ces axes modifient la formulation même de la tâche. Les auteurs en concluent que les comparaisons entre benchmarks ont des limites, et que la capacité d'un détecteur à généraliser à d'autres conditions doit être évaluée explicitement, et non supposée.

Span

Coverage F1 : quand les frontières d'annotation changent tout

Une section distincte est consacrée à l'évaluation au niveau des spans, c'est-à-dire des fragments de texte marqués comme hallucinés. Ici, le résultat dépend fortement de l'endroit exact où l'annotateur a tracé les frontières. Un benchmark marque un court groupe nominal, un autre la phrase entière. Un détecteur ayant repéré la même erreur obtiendra des scores différents selon la façon dont les frontières coïncident.

En complément des métriques existantes, les auteurs proposent Span Coverage F1. Elle repose sur l'inclusion (containment) : on évalue si le fragment prédit couvre le fragment annoté, et non seulement le degré de chevauchement exact. La métrique se veut complémentaire et ne remplace pas les indicateurs habituels, mais permet de distinguer la qualité réelle de la détection des artefacts liés à l'annotation.

Comment lire les scores des détecteurs

Conclusion pratique pour les équipes qui choisissent ou entraînent des détecteurs :

• Avant de comparer deux scores, vérifiez que les benchmarks partagent la même provenance des données, les mêmes types d'erreurs et le même niveau d'annotation. Si ce n'est pas le cas, les chiffres mesurent des choses différentes.
• Pour la production, choisissez le benchmark le plus proche de votre scénario. Pour le RAG, la fidélité à la source compte ; pour les questions ouvertes, c'est la factualité sans contexte.
• Si le détecteur fonctionne au niveau des spans, examinez comment les frontières sont définies dans l'annotation, et ajoutez une métrique basée sur l'inclusion, comme Span Coverage F1.
• Vérifiez la capacité de généralisation : faites tourner le détecteur sur des benchmarks aux conditions différentes et communiquez l'écart obtenu, pas un chiffre unique.

Le code et les documents de l'étude sont disponibles dans le dépôt lmeribal/mycelium sur GitHub. Les auteurs appellent à des retours et à la discussion : ce travail se veut une base pour des comparaisons plus honnêtes dans un domaine où le chiffre d'un tableau pèse souvent plus que le contexte dans lequel il a été obtenu.