BILAL-Bench: ستة من سبعة نماذج مفتوحة تختلق المصادر بثقة في 79–95% من الحالات

حين يختلق نموذج لغوي آية من القرآن أو حديثاً (رواية عن أقوال النبي محمد وأفعاله)، فإنه يمنح الاختلاق سلطة النص المقدس. وقد قاس فريق من الجامعة الإسلامية للتكنولوجيا حجم هذه المشكلة باللغة البنغالية. يضم اختبار BILAL-Bench 240 سؤالاً راجعها خبير في العلوم الإسلامية. وقدّمت سبعة نماذج مفتوحة 1 680 إجابة، واختلقت ستة من السبعة المصادر بثقة في 79,3–95,3% من الحالات التي تتطلب إحالة محددة. ولم تكن صحيحة ومدعومة بمصدر صحيح سوى 40 إجابة من أصل 1 680.

كيف صُمّم الاختبار

كُتبت الأسئلة بالبنغالية مباشرة ودون ترجمة. وتنقسم إلى خمس فئات: نسبة الآيات القرآنية، والأحاديث، والفقه (أحكام الشريعة)، والقضايا المعاصرة التي لا جواب واحداً لها، والأسئلة الخصامية ذات المقدمة الخاطئة. واستُمدت الإجابات المرجعية من الترجمة البنغالية للقرآن الصادرة عن المؤسسة الإسلامية في بنغلاديش، والطبعات البنغالية للكتب الستة من مصنفات الحديث، وبوابات الفتاوى. ثم راجعها خبير مؤهل. واعتُمد المذهب الحنفي مرجعاً في الفقه. ويؤكد المؤلفون أن هذا قرار تصميمي، وليس زعماً بأن المذاهب الأخرى على خطأ.

يعتمد التصنيف على محورين. يحدد المحور الأول نوع خطأ المصدر: اختلاق كامل، أو نسبة خاطئة، أو ادعاء غير مؤكد، أو امتناع في محله عن الإجابة، أو تصحيح للمقدمة الخاطئة. ويبيّن المحور الثاني ما إذا كانت الإجابة تبدو واثقة أم مصحوبة بتحفظات. والمقياس الرئيسي هو نسبة الاختلاقات الواثقة من مجموع الإجابات، وتبقى الإجابات الخالية من أي ادعاء في المقام. وقام اثنان من الناطقين بالبنغالية من ذوي التأهيل المتخصص بتصنيف جميع الإجابات دون معرفة النموذج المصدر. وبلغ معامل كابا لكوهين (اتساق المصنِّفين) 0,864 على ثماني فئات و0,893 بعد دمجها في فئات أوسع.

تلقت النماذج تعليمة واحدة محايدة، دون رسالة نظام ودون أمثلة ودون تنبيه إلى توخي الحذر. وجرى التوليد بفك الترميز الجشع (greedy decoding) بحد أقصى 512 توكن. وشمل الاختبار TigerLLM-1B-it وTituLM-gemma-2-2b وGemma-2-9B-it وGPT-OSS-120B وثلاثة إصدارات من BanglaLLaMA: ‏3.2-3B-instruct و3.1-8B-instruct و3.1-8B-no-pretrain.

الحجم لا ينقذ، والأحاديث الأسوأ

في الفئات التي تتطلب مصادر، يختلق GPT-OSS-120B بثقة في 93,3% من الإجابات، ويختلق BanglaLLaMA-3.2-3B-instruct، وهو أصغر منه بأربعين مرة، في 90,0%. وتتداخل فترات الثقة. وأدنى نسبة بين النماذج الستة هي لدى TituLM-gemma-2-2b: ‏79,3%. أما TigerLLM-1B-it فنتيجته أفضل شكلياً، 63,3%، لكن 43 من إجاباته الـ150 لا تتضمن أي ادعاء، ولا توجد لدى النموذج أي إجابة مدعومة بمصدر صحيح. فانخفاض الاختلاق هنا يعكس الصمت، لا الدقة.

وأسوأ ما تؤديه النماذج هو تحديد أصل الأحاديث. فمن 315 إجابة، صحيحة ومدعومة بمصدر صحيح إجابتان فقط. وثلاثة نماذج تختلق المصدر في كل إجابة ضمن هذه الفئة، وأدنى نسبة اختلاق بين جميع النماذج هي 88,9%. وسجّل GPT-OSS-120B نسبة 100%.

وتتباين أشكال الأخطاء أيضاً. فلدى GPT-OSS-120B 166 حالة اختلاق صريح وحالة واحدة فقط من الادعاء غير المؤكد. أما TituLM-gemma-2-2b فلديه 16 اختلاقاً مقابل 90 ادعاءً غير مؤكد. الصورتان سيئتان، لكن الإحالة الدقيقة إلى مصدر غير موجود أشد خطورة: فالقارئ يجد ما يبحث عنه وما يصدّقه. ومن 1 320 إجابة تتضمن أخطاء في المصدر، تبدو 1 316 منها (99,7%) واثقة، أي أن التحفظات شبه معدومة.

أين تختلف النماذج مع ذلك

يختلف إصداران من BanglaLLaMA بحجم 8B في أمر واحد فقط: هل خضعا لتدريب مسبق إضافي على البنغالية أم لا. ونسبتا الاختلاق الواثق لديهما متقاربتان: 83,3% و86,7%. أما تركيب الأخطاء فمختلف: لدى الإصدار المدرَّب إضافياً 93 اختلاقاً و8 نسب خاطئة، ولدى الإصدار غير المدرَّب 84 و17.

وتتباعد النماذج أكثر ما تتباعد في ضبط النفس. ففي حالة المقدمات الخاطئة يختلق Gemma-2-9B-it في 40,0% من الحالات، وGPT-OSS-120B في 91,1%. ويتراوح عدد حالات الامتناع المناسب أو التصحيح على مستوى الاختبار كله بين 6 لدى GPT-OSS-120B و46 لدى Gemma-2-9B-it. ولا توجد علاقة بعدد المعاملات.

والخلاصة العملية للمؤلفين: الحجم لا يقلل الاختلاق، ولذلك من الأجدى البحث عن وسائل أخرى. وهي الاسترجاع من مصنفات بنغالية موثقة، والتدريب على الامتناع الواعي عن الإجابة، والتحقق الآلي من وجود المصنَّف والراوي ورقم الحديث المذكورة. ويصف المؤلفون الأحاديث تحديداً بأنها أكثر النقاط حدّة للتجارب اللاحقة.

والقيود كذلك جوهرية. فالاختبار يضم 240 سؤالاً بلغة واحدة، وتعليمة محايدة واحدة، وفك ترميز جشعاً، ومرجعاً حنفياً في الفقه، ولذلك لا يمكن تعميم النتائج على مذاهب ولغات وعائلات نماذج أخرى. كما يجب التحقق من التباين في الامتناع عن الإجابة على عدد أكبر من النماذج وأنماط الأسئلة. وBILAL-Bench نفسه أداة تقييم وليس مصدراً لأحكام دينية، ويحذّر المؤلفون صراحة من استخدام النماذج المفتوحة الحالية في المسائل الدينية، بما في ذلك البحث عن الفتاوى. والشيفرة والبيانات منشورتان على GitHub في مستودع BILAL-Bench.