تعارض المعارف في أنظمة RAG: لماذا نحتاج إلى احتمال صحة السياق لا خوارزمية صارمة

لماذا تفشل القواعد الصارمة

في مايو 2024، نصح محرك بحث جوجل المستخدمين بجدية بإضافة الغراء إلى صلصة البيتزا وتناول حجر واحد يومياً — فقد أعاد النموذج بأمانة سرد مزحة من منتدى ومقالاً ساخراً عثر عليهما على الإنترنت، مع أن معارفه الذاتية كانت كافية لفهم أن الأمر خدعة. وتُعد هذه الواقعة مثالاً توضيحياً للمشكلة التي تناولها باحثون من معهد هانوي للبريد والاتصالات: فعندما يتوفر لنموذج مزود بخاصية البحث (RAG) مصدران للإجابة — النص المستخرج من البحث وذاكرته الخاصة — ويتناقضان فيما بينهما، يصبح من غير الواضح أي مصدر ينبغي الوثوق به.

جميع المناهج القائمة تحل هذا التعارض بالطريقة نفسها: تُحدد مسبقاً، منذ مرحلة التصميم، اتجاهاً ثابتاً للثقة. فبعض الطرق تتبع دائماً النص المستخرج من البحث، وأخرى تعزز تأثيره بما يتناسب مع قوة "جذبه" لإجابة النموذج نحوه، وثالثة تعتمد فقط على ذاكرة النموذج. وقد أثبت الباحثون رياضياً أن أي قاعدة ثابتة من هذا النوع تتصرف كخط مستقيم على رسم بياني يمثل الجودة بدلالة نسبة السياقات "الصحيحة" — في حين أن أفضل نتيجة ممكنة توصف بمنحنى محدب يقع فوق هذا الخط في كل نقطة إلا نقطة واحدة. بعبارة أخرى، أي قاعدة صارمة محكومة بالخسارة في معظم الأحيان، وهذا ليس مسألة ضبط معاملات بل حتمية رياضية.

وتناول الباحثون على وجه الخصوص طريقة شائعة تُدعى AdaCAD، تقيس مدى اختلاف إجابات النموذج "مع النص" و"بدون النص" (عبر تباين جنسن-شانون)، وتعزز تأثير السياق تناسبياً مع هذا الاختلاف. والمشكلة أن هذا المقياس متماثل: فهو يستجيب بالطريقة نفسها لحالة "النص صحيح والنموذج مخطئ" وللحالة المعكوسة. وقد أظهرت الاختبارات أن درجة الاختلاف تكون في المتوسط واحدة بصرف النظر عن كون النموذج مصيباً أو مخطئاً. والنتيجة أن AdaCAD يدفع النموذج بقوة أكبر نحو إجابة خاطئة في الحالات التي يكون النص فيها خاطئاً بالذات — بنسبة 70% من الحالات مقابل 20% فقط عند استخدام طريقة عادية خالية من أي حيل خاصة.

كيف صُمم الحل

ولاختبار جميع هذه الأفكار بشكل نزيه، جمع الباحثون مجموعة اختبار تحمل اسم GRACE، مبنية على أسئلة موجهة إلى قاعدة المعرفة Wikidata. وتتمثل خصوصيتها في أن السياق الخاص بالسؤال نفسه يُعدَّل أو يُتلف عمداً بأربع طرق مختلفة: يبقى سليماً، أو يُحرم من الحقيقة اللازمة، أو يُستبدل بحقيقة خاطئة، أو يحتوي في آنٍ معاً على نسختين صحيحة وخاطئة. وهذا يسمح بقياس دقيق لما يعرفه النموذج، وما يقوله النص، وما هي الحقيقة الفعلية — كل عنصر على حدة.

ويتكون الحل من ثلاث خطوات:

• ملاحظات المعرفة. قبل قراءة السياق، يصوغ النموذج عدة مرات (مرة واحدة بشكل محدد وخمس مرات بعشوائية) ما يعرفه عن الموضوع في شكل تصريحات منفصلة. وما يكرره النموذج بالصيغة نفسها في كل مرة يُرجّح أنه يعرفه بالفعل؛ أما ما يتغير من محاولة إلى أخرى فمن المحتمل أنه مجرد تخمين.
• ضبط الثقة. يقوم نموذج مُدرّب صغير (محوّل ذو طبقتين) بتقييم كل تصريح من هذا النوع وإسناد درجة ثقة عددية له، بحيث تعكس الثقة المعلنة بأقصى دقة ممكنة الاحتمال الفعلي للصحة. ويتم ضبط ذلك عبر دالة مكافأة خاصة تعاقب على الثقة الزائفة بشدة أكبر مما تجزي به الثقة الصحيحة.
• القرار النهائي. تقوم وحدة "حكم" خاصة (باستخدام تقنية التعزيز التدريجي gradient boosting) بمقارنة الإجابات المستنتجة من النص ومن ذاكرة النموذج، وتطبق احتمالاً محدداً مسبقاً يعبّر عن "مدى صحة السياق عادة في هذا النوع من السيناريوهات"، لتختار بعدها الإجابة الأفضل أو تمتنع بصدق عن الإجابة إذا كانت الثقة غير كافية.

النتائج ودلالتها العملية

على مجموعة اختبار GRACE، تفوق النظام على أفضل الطرق المنافسة من بين ثلاث عشرة طريقة تمت تجربتها، بصرف النظر عن نسبة السياقات الصحيحة والخاطئة — بفارق بلغ 26 نقطة ودون أي تراجع ملحوظ في أي حالة. وبلغت النتيجة النهائية المتوسطة 45.3 للنموذج Qwen3.5-35B-A3B و35.0 لنموذج Llama-3.1-8B، في مقابل 29.4 و27.5 لأفضل الطرق المنافسة. وفي اختبار خارجي مستقل يُدعى ClashEval، أُعدّ مسبقاً دون أي تعديل خاص له، تجاوز النظام طريقتي CK-PLUG وTCR بفارق 12 و26 نقطة على التوالي.

وثمة تحفظ مهم: تختفي هذه الميزة في الحالات التي لا يعرف فيها النموذج الإجابة من الأساس — وهذا أمر متوقع، لأن الفكرة برمتها تقوم على مقارنة معارف النموذج بالنص، لا على تخمين سحري. وبالنسبة للمهندسين الذين يبنون أنظمة RAG، فإن الخلاصة العملية بسيطة: لا ينبغي السعي لإيجاد معامل ثقة واحد وثابت يُطبق على البحث عموماً، بل يجب تقدير احتمال صحة السياق بشكل صريح بما يتناسب مع حالة الاستخدام المحددة، وإدماج هذا الاحتمال في النظام كمعامل قابل للتعديل، بدلاً من تضمين قاعدة صارمة في الكود.