BILAL-Bench : six modèles ouverts sur sept inventent leurs sources avec aplomb dans 79–95% des cas

Quand un modèle de langage invente un verset du Coran ou un hadith (récit des paroles et des actes du prophète Mahomet), il confère à sa fabrication l'autorité d'un texte sacré. Une équipe de l'Université islamique de technologie a mesuré l'ampleur du problème en bengali. Le benchmark BILAL-Bench comprend 240 questions validées par un expert en sciences islamiques. Sept modèles ouverts ont produit 1 680 réponses, et six d'entre eux inventent avec aplomb leurs sources dans 79,3–95,3% des cas où une référence précise est nécessaire. Seules 40 réponses sur 1 680 sont à la fois correctes et correctement étayées par une source.

Comment le test est construit

Les questions ont été rédigées directement en bengali, sans passer par une traduction. Elles se répartissent en cinq catégories : attribution de versets coraniques, hadiths, fiqh (normes du droit religieux), questions contemporaines sans réponse unique et requêtes adverses reposant sur une fausse prémisse. Les réponses de référence proviennent de la traduction bengalie du Coran de l'Islamic Foundation Bangladesh, des éditions bengalies des six recueils canoniques de hadiths et de portails de fatwas. Un expert qualifié les a ensuite vérifiées. En fiqh, la référence retenue est la position hanafite. Les auteurs soulignent qu'il s'agit d'un choix de conception, et non d'une affirmation selon laquelle les autres écoles auraient tort.

L'annotation repose sur deux axes. Le premier consigne le type d'erreur de source : fabrication pure, mauvaise attribution, affirmation non vérifiée, refus approprié ou correction de la fausse prémisse. Le second indique si la réponse sonne de façon assurée ou nuancée. La métrique principale est la part de fabrications assurées parmi toutes les réponses, les réponses sans aucune affirmation restant au dénominateur. Deux locuteurs natifs du bengali ayant une formation dans le domaine ont annoté toutes les réponses en aveugle. Le kappa de Cohen (accord entre annotateurs) atteint 0,864 sur huit classes et 0,893 après regroupement des classes.

Les modèles recevaient une seule instruction neutre, sans message système, sans exemples et sans consigne de prudence. La génération utilisait le décodage glouton, avec une limite de 512 tokens. Le test inclut TigerLLM-1B-it, TituLM-gemma-2-2b, Gemma-2-9B-it, GPT-OSS-120B et trois variantes de BanglaLLaMA : 3.2-3B-instruct, 3.1-8B-instruct et 3.1-8B-no-pretrain.

La taille ne sauve rien, les hadiths sont le pire cas

Dans les catégories qui exigent des références, GPT-OSS-120B fabrique avec aplomb dans 93,3% des réponses, contre 90,0% pour BanglaLLaMA-3.2-3B-instruct, un modèle quarante fois plus petit. Les intervalles de confiance se chevauchent. Le taux le plus bas parmi les six revient à TituLM-gemma-2-2b : 79,3%. TigerLLM-1B-it fait formellement mieux, avec 63,3%, mais 43 de ses 150 réponses ne contiennent aucune affirmation, et le modèle ne produit aucune réponse correctement étayée par une source. Ici, la faible fabrication traduit le silence, non la précision.

C'est sur l'origine des hadiths que les modèles échouent le plus. Sur 315 réponses, seules deux sont correctes et correctement étayées par une source. Trois modèles inventent la source dans chaque réponse de cette catégorie, et le taux de fabrication le plus bas, tous modèles confondus, atteint 88,9%. GPT-OSS-120B affiche 100%.

La forme des erreurs diffère aussi. GPT-OSS-120B compte 166 cas de fabrication pure et un seul cas d'affirmation non vérifiée. TituLM-gemma-2-2b présente 16 fabrications, mais 90 affirmations non vérifiées. Les deux profils sont mauvais, mais une référence précise à une source inexistante est particulièrement dangereuse : le lecteur a de quoi chercher et de quoi croire. Sur 1 320 réponses comportant une erreur de source, 1 316 (99,7%) sonnent de façon assurée : les nuances sont presque absentes.

Là où les modèles se distinguent malgré tout

Les deux versions de BanglaLLaMA en 8B ne diffèrent que par un point : l'une a bénéficié d'un préentraînement supplémentaire en bengali, l'autre non. Leurs taux de fabrication assurée sont proches : 83,3% et 86,7%. La composition des erreurs diffère : la version avec entraînement complémentaire compte 93 fabrications et 8 mauvaises attributions, celle sans entraînement 84 et 17.

C'est dans la retenue que les modèles divergent le plus. Face aux fausses prémisses, Gemma-2-9B-it fabrique dans 40,0% des cas, GPT-OSS-120B dans 91,1%. Le nombre de refus ou de corrections appropriés sur l'ensemble du benchmark varie de 6 pour GPT-OSS-120B à 46 pour Gemma-2-9B-it. Il n'existe aucune corrélation avec le nombre de paramètres.

La conclusion pratique des auteurs : la taille ne réduit pas la fabrication, il vaut donc mieux chercher d'autres leviers. Ils citent le retrieval à partir de recueils bengalis vérifiés, l'entraînement au refus conscient et la vérification automatique de l'existence du recueil, du narrateur et du numéro de hadith cités. Les auteurs désignent les hadiths comme le point le plus critique pour les expériences à venir.

Les limites sont également importantes. Le benchmark comprend 240 questions dans une seule langue, une seule instruction neutre, le décodage glouton et une référence hanafite en fiqh : les résultats ne peuvent donc pas être transposés à d'autres écoles, d'autres langues ou d'autres familles de modèles. La dispersion des taux d'abstention doit être vérifiée sur un plus grand nombre de modèles et de styles de requêtes. BILAL-Bench est un outil d'évaluation, et non une source de prescriptions religieuses, et les auteurs déconseillent expressément d'utiliser les modèles ouverts actuels pour des questions religieuses, y compris la recherche de fatwas. Le code et les données sont publiés sur GitHub, dans le dépôt BILAL-Bench.