تعارض المعرفة في RAG: الاحتمال المسبق بدل القاعدة الصارمة يمنح حتى +26 نقطة

عندما يسترجع نظام RAG من قاعدة البيانات وثيقة تناقض ما يعرفه النموذج بنفسه، لا بد أن يحدد أحدهم أي المصدرين يستحق التصديق. يرى الباحثان Minh Pham Van ومؤلف مشارك، في ورقتهما «Don't Pick a Winner»، أن أي قرار يُدمج في البنية مسبقًا محكوم عليه بالفشل. وقد سجّل النظام الذي يقترحانه على اختبار GRACE نتيجة 45,3 نقطة على Qwen3.5-35B-A3B و35,0 على Llama-3.1-8B، في حين حقق أفضل الأساليب القائمة 29,4 و27,5. وعلى أي مزيج من السياقات الصحيحة وغير الصحيحة، بلغ التفوق حتى 26 نقطة.

لماذا تخسر أي قاعدة ثابتة

جوهر المشكلة بسيط. يجيب النموذج المعزَّز بالاسترجاع (retrieval-augmented) اعتمادًا على مصدرين: السياق المسترجع ومعرفته البارامترية الخاصة. وحين يكون السياق ناقصًا أو خاطئًا، يتعارض المصدران. تحسم الأساليب القائمة هذا التعارض بقاعدة تُختار في مرحلة التصميم: إما اتباع السياق بلا تمحيص، أو تعزيزه بما يتناسب مع مقدار إزاحته لتوزيع النموذج، أو الوثوق بالذاكرة.

يبني المؤلفون نموذجًا نظريًا قائمًا على نظرية القرار بمصدرين. وفي هذا النموذج، يعتمد أداء أي قاعدة ثابتة خطيًّا على نسبة السياقات الموثوقة في التدفق، بينما يكون أفضل أداء ممكن دالة محدبة. ومعنى ذلك أن أي قاعدة ثابتة تخسر أمام الأمثل في كل نقطة، باستثناء نقطة واحدة تصادف فيها أن تطابقت القاعدة مع الواقع. فقاعدة «ثق بالسياق» تعمل جيدًا على قاعدة معرفة نظيفة وبشكل سيئ على قاعدة مشوّشة. أما قاعدة «ثق بالذاكرة» فالأمر معها معكوس.

وثمة حجة ثانية ضد فك الترميز التكيّفي. فهو يقيس التباعد المتماثل بين التوزيعين مع السياق وبدونه. وهذه القيمة هي نفسها سواء كان السياق على صواب أم الذاكرة، ولذلك لا تقول شيئًا عمّن منهما على حق.

مدخلان لا يوجدان في أي منهج

تفيد النظرية بأن حل التعارض يتطلب مدخلين. الأول: دليل عن كل مصدر على حدة. الثاني: احتمال مسبق عن مدى تكرار صحة السياق. ولا يحتفظ أي منهج قائم بأي منهما.

للتحقق من ذلك، استخدم المؤلفون GRACE. يتدخل هذا الاختبار في السياق المأخوذ من رسم معرفي (knowledge graph) لسؤال ثابت. ولهذا يمكن قياس ما يعرفه النموذج وما يقوله السياق وما هو صحيح، كل على حدة. وعلى هذا الاختبار، يتفوق كل خط أساس من العائلات الأربع إما على السياقات الصحيحة وإما على غير الصحيحة، لكنه لا يتفوق على النوعين معًا.

ويتألف تصميم المؤلفين نفسه من أربع حلقات:

• يصوغ النموذج معرفته في شكل ملاحظات؛
• تعبّر سياسة صغيرة عن كل ملاحظة بدرجة ثقة معايَرة؛
• يجيب القارئ «بصوتين»: بحسب السياق وبحسب الملاحظات؛
• يثبّت المحدِّد الإجابة أو يمتنع عن الإجابة، مطبّقًا الاحتمال المسبق π بوصفه إزاحة دقيقة للاحتمال المسبق (exact prior shift).

الأرقام وحدود التطبيق

عندما تساوي π النسبة الحقيقية للسياقات الصحيحة، يتفوق النظام على أفضل خط أساس في كل مزيج من سياقات GRACE، بفارق يصل إلى 26 نقطة. وهذه أبرز النتائج:

• GRACE، Qwen3.5-35B-A3B: 45,3 مقابل 29,4 لأفضل خط أساس؛
• GRACE، Llama-3.1-8B: 35,0 مقابل 27,5؛
• ClashEval (بروتوكول مسجَّل مسبقًا): +12 نقطة مقارنة بـ CK-PLUG و+26 مقارنة بـ TCR على backbone نفسه؛
• حيث لا يمتلك النموذج المعرفة المطلوبة، يزول المكسب.

يقدّم المؤلفون النقطة الأخيرة بوصفها تأكيدًا للنظرية، لا تحفظًا عليها. فإذا لم يكن في الذاكرة البارامترية شيء، يصبح الدليل المنفصل عن هذا المصدر عديم الفائدة، ويعود المنهج إلى مستوى خطوط الأساس. والورقة ضخمة: 49 صفحة، منها 9 للنص الرئيسي، إضافة إلى 14 شكلًا.

ما الذي ينبغي تغييره في خطوط RAG

الخلاصة للممارسين كالتالي. إذا كان نظامكم يعتمد ثابتًا واحدًا لمدى الثقة بالسياق، فهذا افتراض ضمني عن جودة الفهرس. وينهار هذا الافتراض عند تغيير المصدر، مثلًا عند الانتقال من ويكي داخلية إلى الويب المفتوح. ومن المفيد على الأقل تقدير نسبة السياقات الصحيحة على عيّنة موسومة واستخدامها احتمالًا مسبقًا.

أما الدرس الثاني فيخص المعايرة. ينبغي دفع النموذج إلى أن يصرّح على حدة بما يعرفه بدون السياق، وأن يقدّر ثقته بهذه المعرفة. فتباعد توزيعات الإجابة وحده لا يوفر ذلك. والدرس الثالث: الامتناع عن الإجابة يمنح مخرجًا أمينًا حين تتعارض المصادر ولا يسمح الاحتمال المسبق بالاختيار بثقة.

والقيود واضحة أيضًا. فالمنهج يتطلب تقدير π، ولا يعمل إلا حيث يمتلك النموذج المعرفة فعلًا، كما أن التحقق منه لا يزال محدودًا بنموذجين واثنين من الاختبارات المعيارية. لكن الطرح نفسه، الذي يعالج تعارض المعرفة بوصفه مسألة بايزية لا اختيارًا لطرف فائز، من المرجح أن يؤثر في تصميم أنظمة RAG المقبلة.