كيف يخفض تحليل أعطال RAG نسبة الإجابات غير المسندة من 34% إلى 9%

عندما يذكر نظام RAG بثقة مدة أو سعرًا أو قاعدة غير صحيحة، يكون رد الفعل الأول عادة تعديل الموجّه. تُضاف عبارة «أجب استنادًا إلى المستندات فقط»، وتُصاغ التعليمات بصرامة أكبر، ثم يُعاد تشغيل الاختبار. ينجح ذلك أحيانًا. لكن إذا لم تصل المعلومة المطلوبة أصلًا إلى السياق، فلن يتمكن النموذج من استخدامها مهما كانت التعليمات.

الفكرة الرئيسية للمقال بسيطة: قد تكون الإجابة الخاطئة نفسها نتيجة أعطال مختلفة. ربما لم يعثر البحث على المستند. وربما فصلت التجزئة ادعاءً مهمًا. وربما رفع معيد الترتيب مقطعًا مشابهًا لكنه غير مناسب إلى الصدارة. وأخيرًا، ربما تلقى النموذج السياق الصحيح ثم تجاهله وأجاب من ذاكرته. ولكل حالة إصلاح مختلف.

إجابة واحدة وثلاثة أعطال محتملة

لنتخيل مساعدًا خاصًا بوثائق خدمة سحابية. يسأل المستخدم عما إذا كان من الممكن استعادة topic محذوف في Kafka. تنص الوثائق على أن الحذف غير قابل للتراجع، رغم استمرار تخزين البيانات فعليًا لسبعة أيام أخرى. لكن النظام يجيب: «يمكن استعادة الـ topic خلال سبعة أيام عبر وحدة التحكم، مجانًا».

تتضمن الإجابة هنا ثلاثة ادعاءات غير مؤكدة دفعة واحدة: إمكان الاستعادة، وطريقتها، وسعرها. ومع ذلك، فإن عبارة «سبعة أيام» موجودة بالفعل في المصدر. ولذلك قد يقبل فحص سطحي قائم على تطابق الكلمات الإجابة باعتبارها مسندة.

ينبغي أولًا فحص المقاطع التي أعادها البحث. إذا لم يُعثر على الفقرة التي تنص على أن الحذف غير قابل للتراجع، فالمشكلة في الاسترجاع: ويجب فحص التجزئة، والتضمينات، والمرشحات، والبحث الهجين، وإعادة الترتيب. أما إذا كان المقطع الصحيح موجودًا ومع ذلك اخترع النموذج إمكان الاستعادة، فالعطل يقع في التوليد أو في تعارض السياق مع المعرفة الداخلية للنموذج.

يكشف الاستئصال ما أثّر بالفعل في الإجابة

من الأساليب المفيدة تكرار الاستعلام بعد حذف مقاطع منفردة من الموجّه. فإذا توقف النموذج عن الحديث عن الاستعادة بعد إزالة الـ chunk المتعلق بالاحتفاظ بالبيانات سبعة أيام، فهذا يعني أنه أنشأ علاقة سببية خاطئة: حوّل مدة التخزين الفعلي إلى مدة تكون خلالها العملية متاحة للمستخدم.

بعد ذلك تُقسّم الإجابة إلى ادعاءات منفصلة قابلة للتحقق. ويتطلب كل رقم ومدة وسعر وإجراء مقطعًا محددًا يؤيده. ولا يكفي مجرد ذكر الكيان: فوجود كلمة «برلين» في مستند لا يثبت أن المستند يصف برلين بأنها عاصمة ألمانيا.

وأخيرًا، يجدر حذف كل السياق ذي الصلة. فإذا لم تتغير الإجابة إلا قليلًا، فمن المرجح أن النموذج ولّدها من ذاكرته واستخدم المستند المسترجع مجرد استشهاد زخرفي. وقد لا يكشف الفحص التقليدي للاتساق المنطقي بين النص والمصدر هذا الاستبدال، لأنه يجيب عن سؤال «هل الادعاءات متوافقة؟»، لكنه لا يبيّن ما إذا كان المصدر قد أثّر فعلًا في التوليد.

ما ينبغي تطبيقه في نظام RAG تشغيلي

الحد الأدنى من قابلية الرصد هو تسجيل الاستعلام، ومقاطع top-k المسترجعة، ودرجاتها، والموجّه النهائي. ومن المفيد في الاستعلامات الموسومة حساب Recall@k: هل ظهر المقطع المطلوب ضمن نتائج البحث؟ ومن الأفضل قياس هذا المؤشر على حركة استخدام فعلية، لا على أمثلة اصطناعية مرتبة بعناية فحسب.

ينبغي في الإجابات الحساسة اشتراط مقطع مؤيد لكل ادعاء جوهري. وإذا لم يوجد سند مباشر، تكون الإجابة الصادقة «هذا غير مذكور في الوثائق» أكثر أمانًا من تخمين واثق. ويمكن إرسال الأرقام والمدد والأسعار تلقائيًا إلى عملية تحقق إضافية.

للمنهج قيود. تتطلب عمليات الاستئصال استدعاءات إضافية للنموذج، وتزيد زمن الاستجابة والتكلفة، كما أن تغير الإجابة لا يثبت دائمًا العلاقة السببية بصورة قاطعة. لذلك من المعقول تشغيلها بصورة انتقائية: على نسبة صغيرة من حركة الاستخدام، وعلى الإجابات التي تحتوي على استشهادات، وفي السيناريوهات عالية المخاطر.

النتيجة العملية هي أن الفريق يتوقف عن معالجة جميع الأخطاء بموجّه واحد. فإذا لم يُعثر على المصدر، يُصلح البحث والتجزئة. وإذا عُثر على السياق لكنه جرى تجاهله، يعمل على التعليمات وبنية التوليد. وإذا أُضيف المرجع بأثر رجعي، يعزز التحقق من الإسناد. وفي المثال الذي وصفه الكاتب، خفّضت هذه الإجراءات مجتمعة نسبة الادعاءات غير المسندة من 34% إلى 9%.