GRAPHEVAL : un nouveau cadre à base de graphes montre que Self-Consistency masque des erreurs dans le raisonnement des LLM

Des chercheurs ont publié en juillet 2026 sur arXiv un article présentant le cadre GRAPHEVAL, destiné à évaluer la validité du raisonnement des modèles de langage. Principale conclusion : la méthode standard Self-Consistency ignore systématiquement les erreurs logiques, car elle ne compare que les réponses finales et néglige entièrement les étapes intermédiaires du raisonnement.

Pourquoi

Self-Consistency ne détecte pas les erreurs de raisonnement

Self-Consistency (SC) est l'une des méthodes les plus répandues pour fiabiliser les modèles de langage. Le principe est simple : le modèle génère plusieurs solutions à un même problème, puis un vote à la majorité retient la réponse finale la plus fréquente. Cela élimine bien les écarts aléatoires, mais laisse un angle mort.

Plusieurs chaînes de raisonnement peuvent très bien aboutir à la même réponse par des chemins logiques totalement différents, y compris erronés. Le modèle paraît sûr de lui, le consensus est atteint, mais la structure du raisonnement reste incohérente. Les auteurs appellent ce phénomène les « hallucinations assurées » : le modèle n'exprime aucune incertitude, mais ses étapes intermédiaires ne résistent pas à une vérification de cohérence logique.

Ce que propose GRAPHEVAL

Le cadre repense la quantification de l'incertitude (uncertainty quantification) comme la mesure de la validité logique de l'ensemble de l'espace de raisonnement, et non des seules réponses finales. Les auteurs introduisent deux nouveaux outils :

• GRCS (Graph Reasoning Coherence Score) est une métrique qui capte le consensus sémantique et structurel dans la représentation du raisonnement sous forme de graphe. Elle détecte à la fois l'effondrement de mode (mode collapse) pathologique et les hallucinations assurées.
• GSC (Graph Self-Consistency) est une stratégie de décodage fondée sur le médoïde : au lieu de voter sur la réponse finale, elle sélectionne la chaîne de raisonnement structurellement la plus proche de toutes les autres.

GRCS s'est révélée la seule métrique à présenter une corrélation négative constante avec l'incorrection du raisonnement, aussi bien pour les grands modèles que pour les petits.

Ce que montrent les expériences

Les auteurs ont testé le cadre sur des modèles de différentes échelles et relevé plusieurs régularités clés :

• Sur les petits modèles, GSC met clairement en évidence à quel point SC gonfle la précision grâce à des « réussites par chance » : les modèles arrivent souvent à la bonne réponse par un chemin erroné, ce que SC ne remarque pas.
• Sur les modèles plus puissants, GSC maintient ou améliore la précision tout en augmentant la validité logique du raisonnement.
• L'ablation adversariale du médoïde (adversarial medoid ablation) a confirmé que le chemin choisi par GSC est « porteur » : le forcer à s'en écarter réduit la validité du raisonnement et, dans certains cas, dégrade la précision des réponses.

Ce que cela signifie

Les métriques de précision standard et Self-Consistency masquent un problème de fond : les modèles de langage peuvent deviner la bonne réponse sans savoir raisonner correctement. GRAPHEVAL fournit des outils qui séparent « savoir deviner » de « savoir réfléchir », ce qui modifie le cadre de comparaison et d'évaluation des modèles de langage, dans les contextes académique comme appliqué.

Questions fréquentes

En quoi GSC diffère-t-il du Self-Consistency standard ?

Le SC standard retient la réponse majoritaire parmi toutes les solutions générées. GSC sélectionne la chaîne de raisonnement structurellement la plus proche de toutes les autres (le médoïde). Cela permet d'évaluer le chemin logique menant à la réponse, et pas seulement le résultat final.

GRAPHEVAL s'applique-t-il à des modèles de toute taille ?

Les auteurs ont testé le cadre sur des modèles de différentes échelles. GRCS a montré une corrélation négative stable avec l'incorrection du raisonnement sur tous les modèles testés. L'effet de GSC varie en revanche : sur les petits modèles, il révèle la précision gonflée de SC ; sur les plus puissants, il améliore les deux indicateurs à la fois.