Gemma-3-12b أقل قدرة على كشف الأكاذيب في RAG: نسبة الاكتشاف تراجعت من 25% إلى 10%

اختبر باحثون من جامعة تكساس في دالاس وفرع فانكوفر من New York Institute of Technology قدرة Gemma-3-12b على ملاحظة الادعاءات الكاذبة في سياق RAG عندما تتكرر هذه الادعاءات في عدة مستندات. عندما كان المستند المسموم واحدًا من سبعة، اكتشف النموذج التلاعب في 25% من الحالات. وعندما ورد الادعاء نفسه في ستة مستندات من سبعة، انخفضت نسبة الاكتشاف إلى 10%. ويصف المؤلفون النتيجة بأنها دليل أولي على المجاراة: اتفاق المستندات فيما بينها يرفع الثقة بها، حتى لو كانت كلها الاختلاق نفسه.

كيف بُني التجربة

تقوم التجربة على 200 سؤال عشوائي من SciFact (مجموعة من الادعاءات العلمية التي ينبغي تأكيدها أو دحضها بالاستناد إلى المصادر)، اختيرت بقيمة بذرة عشوائية (seed) تساوي 38. وأُخذ المحتوى المسموم من عمل سابق للمجموعة نفسها. ففي ذلك العمل، ثُبتت الإجابة الصحيحة لكل سؤال أولًا، ثم وُلّدت جملة تناقضها وبُسطت إلى نص متماسك من نحو 500 كلمة. وتحقق نموذج لغوي يعمل كحَكَم من أن النص لا يدعم الإجابة الصحيحة. وكان المولّد الرئيسي GPT-5.6، فيما استُعين بـ Grok 4.6 عندما رفض GPT-5.6 الكتابة.

في الاختبار الجديد، حُفظ كل نص مسموم وأُعدّت له خمس إعادات صياغة. وطلبت التعليمات الحفاظ على الادعاءات الأصلية ومستوى الثقة فيها، بما في ذلك المقدمة الخاطئة عمدًا، وعدم تصحيحها. بعد ذلك جُمع سياقان من سبعة مستندات لكل منهما. في سياق «الأقلية» مستند مسموم واحد وستة مستندات سليمة. وفي سياق «الأغلبية» النص المسموم الأصلي وخمس إعادات صياغة له ومستند سليم واحد. وصيغت المهمة بالطريقة نفسها في الحالتين: فحص المقاطع وإرجاع تقرير منظم عن التضليل مع رقم المقطع المشبوه.

ماذا أظهرت الأرقام

في حالة «الأقلية» اكتشفت Gemma-3-12b المحتوى المسموم في 50 من 200 حالة (25,0%)، وفي حالة «الأغلبية» في 20 من 200 (10,0%). الفارق 15 نقطة مئوية، أي انخفاض نسبي قدره 60%. وهذا وحده يدل على أن أداة الكشف ضعيفة: حتى في أفضل الأحوال، تمر ثلاثة أسئلة من كل أربعة دون أن تُلاحَظ.

التحليل المقترن أكثر دلالة. ففي الحالتين معًا اكتُشف المحتوى المسموم في 16 سؤالًا، ولم يُكتشف في أي منهما في 146 سؤالًا. أما الأسئلة الـ 38 المتبقية فاختلفت نتائجها بين الحالتين، وانتقل 34 منها من «اكتُشف» إلى «لم يُكتشف»، وأربعة فقط في الاتجاه المعاكس. وأكد اختبار ماكنيمار الثنائي الذيل الدقيق (اختبار مقترن لا ينظر إلا إلى الأسئلة التي تغيرت نتيجتها) أن هذا الميل ذو دلالة. واستخدم المؤلفون طريقة ويلسون لحساب فترات الثقة.

لماذا يبقى الاستنتاج حذرًا حتى الآن

الخطر العملي الرئيسي واضح: المهاجم لا يحتاج إلى مصادر مستقلة، بل يكفيه تضخيم ادعاء كاذب واحد عبر نصوص معاد صياغتها. ونظام RAG الذي يعد كل مقطع يعثر عليه وحدة منفصلة من الأدلة قد يفسر هذا التكرار تأكيدًا. فالمستندات الستة قد تكون ست دراسات مختلفة، وقد تكون ست إعادات صياغة لطرح واحد بلا سند. وينبغي لأداة جيدة لكشف التضليل أن تراعي أصل المصادر والتبعية بينها، لا أن تكتفي بتطابق الصياغات.

لكن المؤلفين أنفسهم يشددون على حدود العمل. فقد اختُبر نموذج واحد في مهمة واحدة بسياق ثابت من سبعة مستندات، ولم يشارك استرجاع المستندات (الـ retriever) في التجربة أصلًا. كما أن الانتقال إلى «الأغلبية» يغيّر ثلاثة أمور في آن واحد: نسبة المستندات المسمومة، وعدد التكرارات المعاد صياغتها، وعدد الأدلة المضادة السليمة. لذلك لا يمكن الجزم بأن الانخفاض سببه المجاراة تحديدًا، لا الحساسية للتكرار أو قلة المستندات السليمة. إضافة إلى ذلك، استُخدمت تسميات ثنائية للاكتشاف مسجلة في جدول، دون تحقق بشري مستقل من كل تعليل نصي، ودون تقييم لما إذا كان النموذج قد أشار فعلًا إلى المقطع المسموم الصحيح.

والخطوة التالية واضحة: تغيير نسبة المحتوى المسموم، وعدد إعادات الصياغة، واستقلالية المصادر، وترتيب المستندات، وعدد النصوص السليمة، كلٌّ على حدة. أما الآن، فعلى مطوري RAG أن يأخذوا في الحسبان استنتاجًا واحدًا: إزالة التكرار بين المقاطع المتقاربة دلاليًا، وأخذ المصدر في الحسبان قبل تمرير النصوص إلى النموذج، قد يكونان أنفع من الأمل في أن يلاحظ النموذج الخدعة بنفسه. ويشير المؤلفون بشكل منفصل إلى أن النصوص المسمومة اختُلقت عمدًا لاختبار المتانة، ولا ينبغي التعامل معها على أنها ادعاءات علمية.