Benchmark Learn2Discern : les LLM distinguent à peine les sources fiables des sources populaires

En juillet 2026, des chercheurs ont publié sur arXiv un article consacré au « discernement de l'information » (information discernment) chez les grands modèles de langage et présenté le benchmark Learn2Discern (L2D). Testés sur 13 modèles et près de 670 000 essais, les modèles distinguent les sources fiables des sources peu fiables à peu près au niveau du hasard.

Ce que mesure Learn2Discern

Learn2Discern évalue deux compétences d'un modèle face à des données externes : le source discernment, c'est-à-dire la capacité à accorder plus de confiance à une source fiable, et le truth discernment, c'est-à-dire la capacité à réviser davantage sa réponse lorsqu'une nouvelle affirmation la rapproche de la vérité. Le cadre repose sur trois axiomes normatifs assortis de métriques interprétables. D'après les auteurs, les utilisateurs réels partagent ces principes : une enquête préenregistrée sur échantillon par quotas (n=299) montre que leur violation réduit la confiance accordée au modèle et la propension à l'utiliser.

Principaux résultats

Sur les deux dimensions, les modèles échouent : leurs résultats restent proches du hasard, aussi bien pour la fiabilité de la source que pour la proximité avec la vérité.

• 13 modèles, près de 670 000 essais (trials)
• Les modèles se fient deux fois plus à la popularité d'une source qu'à sa fiabilité
• Ils révisent leur réponse à peu près de la même façon, que l'affirmation les rapproche de la vérité ou les en éloigne
• Ils intègrent le mieux les connaissances externes là où leurs propres a priori sont déjà les plus précis
• Enquête auprès des utilisateurs : n=299, échantillon par quotas, préenregistrement

«

Les modèles se comportent presque au niveau du hasard, aussi bien pour la fiabilité de la source que pour la proximité avec la vérité », indique le résumé de l'étude sur arXiv.

Pourquoi les nouveaux modèles n'y changent rien

Les modèles plus gros et plus récents n'améliorent que le truth discernment, pas le source discernment. C'est un angle mort que la montée en complexité ne corrige pas : la capacité à distinguer une source crédible d'une source simplement populaire ne progresse pas avec la taille du modèle. Pire, selon Learn2Discern, les modèles intègrent les connaissances externes de façon optimale là où leurs a priori sont déjà les plus exacts : ils s'aident donc là où l'aide est la moins nécessaire. Les auteurs relèvent toutefois une bonne nouvelle : de simples interventions au moment de l'inférence (inference-time) améliorent les deux compétences à la fois, sans réentraîner le modèle.

Ce que cela signifie

À mesure que les LLM remplacent la recherche traditionnelle, savoir distinguer une source crédible d'une source simplement populaire devient une propriété critique d'alignement (alignment). Pour l'instant, à en juger par les 13 modèles testés, ils ne maîtrisent pas cette compétence, et la taille du modèle ne résout pas le problème. Les auteurs ont mis le jeu de données et l'enquête en accès libre comme banc d'essai pour cette tâche.

Questions fréquentes

Qu'est-ce que Learn2Discern ?

Learn2Discern (L2D) est un cadre expérimental et un benchmark qui évalue la manière dont les LLM pondèrent l'information externe : font-ils confiance aux sources fiables et se rapprochent-ils de la vérité ? Il repose sur trois axiomes normatifs assortis de métriques interprétables ; les auteurs ont ouvert le jeu de données et l'enquête pour qu'ils puissent être réutilisés.

Quels modèles ont été testés ?

L'étude porte sur 13 modèles et près de 670 000 essais. Tous affichent un discernement des sources et de la vérité proche du hasard, et les modèles plus récents et plus gros n'améliorent que le truth discernment, pas le source discernment.

Pourquoi est-ce important pour la recherche par IA ?

Lorsque les LLM remplacent les moteurs de recherche, ils décident eux-mêmes de la source à croire. Si un modèle s'appuie deux fois plus sur la popularité d'une source que sur sa fiabilité, il risque de propager des affirmations répandues mais fausses.