لماذا يتراجع أداء RAG والمطالبات الطويلة: حقيقة متعارضة واحدة تُسقط دقة نماذج LLM الصغيرة من 97% إلى 11%

يُعتقد عادةً أن الشبكات العصبية تضيع في المستندات الطويلة لمجرد أن النص كثير جداً. لكن باحثين من جامعة كاليفورنيا في سان دييغو اختبروا ذلك في مهمة البحث عن حقيقة داخل السياق، وتوصلوا إلى إجابة مختلفة. تخيّلوا نظام RAG وصلت إلى مطالبته نسختان من ملف إعدادات واحد: قديمة وجديدة، بقيمتين مختلفتين للمعامل نفسه. هذه السجلات تحديداً هي التي تُفسد الإجابة، لا آلاف الرموز في حد ذاتها. فما دام السياق الذي يصل إلى 32 ألف رمز ممتلئاً بنص محايد، يجيب نموذج Qwen2.5-1.5B بشكل صحيح في 97–100% من الحالات. وعندما تشغل المواضع نفسها سجلات بصيغة الحقيقة المطلوبة، تنخفض الدقة إلى 11–21%. والخلاصة العملية: قبل الإرسال إلى المطالبة ينبغي تنظيف النسخ المكررة المتعارضة، لا الاكتفاء بتقصير المستند.

كيف صُمّمت التجربة

المهمة بسيطة عن قصد. يُخفى في نص طويل سطر واحد مثل «الرمز السري للنهر — 4821»، ثم يُسأل في النهاية عن رمز النهر. يقع السطر على عمق عشوائي، ويتغير طول السياق من 512 إلى 32 ألف رمز. أُجري الاختبار على خمسة نماذج مفتوحة بأحجام من 0.5 إلى 3 مليارات معامل، من أربع عائلات، منها Qwen2.5 وLlama-3.2 وSmolLM2 وOLMo-2.

القاعدة الأساسية في التصميم: طول السطر المطلوب وموضعه ثابتان دائماً، ولا يتغير إلا ما يحيط به. في أحد الأنماط يكون المحيط أرقاماً عشوائية أو كلمات عشوائية أو جملة واحدة مكررة. وفي نمط آخر يكون سجلات على قالب السطر المطلوب بمفاتيح مأخوذة من مجموعة تضم 51 اسماً. وهناك نمط ثالث: يُحجب النص المحايد نفسه عن انتباه النموذج مع الاحتفاظ بمواضع الرموز.

ماذا أظهرت القياسات

على النص المحايد تبقى الدقة عند 97–100% لدى أربعة من النماذج الخمسة: حتى 4 آلاف رمز لدى الأربعة جميعاً، وحتى 32 ألفاً لدى Qwen2.5-1.5B. والاستثناء هو OLMo-2-1B: فعند 2048 رمزاً من النص المحايد تخسر 0.57 نات (دقة 91%). والنات هنا وحدة قياس الخسارة في احتمال الإجابة الصحيحة: كلما زاد، ساء الأداء.

السجلات بصيغة السطر المطلوب، عند أطوال من 8 إلى 32 ألف رمز، تخفض الدقة إلى 11–21%. والحالة الأشد ضرراً هي سجل بالمفتاح نفسه وقيمة مختلفة. سجل واحد من هذا النوع يزيد خسارة النموذج بمقدار 9–110 مرة، وكل سجل إضافي يزيدها أكثر. المقارنة على Qwen2.5-1.5B عند 32 ألف رمز: النص المحايد يكلّف 0.004 نات، والنص المحايد المحجوب 1.20 نات، والسجلات المنافسة 4.76 نات. أما الخسارة الوسيطة مع المنافسين على هذا النموذج فهي 2.82 و3.94 و4.03 و4.76 نات عند 8 و16 و24 و32 ألف رمز.

وداخل النموذج تتبّع المؤلفون كمية واحدة: حصة الانتباه التي تبقى على السطر المطلوب. حُسبت من رؤوس الانتباه الثمانية التي تنظر إلى هذا السطر بأقوى قدر، انطلاقاً من الرمز الأخير في الاستعلام. وعبر 126 473 تشغيلاً، تفسر هذه الحصة من 35 إلى 58% من تباين الخسارة، بينما لا يفسر لوغاريتم طول السياق سوى 2–8%. ويستمر هذا الفارق عند أطوال من 8 إلى 32 ألف رمز. والفكرة ببساطة: السجلات المشابهة تسحب الانتباه من السطر المطلوب، وهذا ما يتزامن مع الأخطاء.

لماذا لم تثبت فرضية «الطول يضر بحد ذاته»

أخفت أبحاث سابقة الرموز الزائدة عن الانتباه مع الإبقاء على المواضع، ولاحظت تراجعاً في الدقة، واستنتجت من ذلك أن الطول ضار. أعاد المؤلفون إنتاج ذلك على 1000 سؤال من MMLU مع Llama-3.2-3B وQwen2.5-7B-Instruct: عند 30 ألف رمز محجوب بلغت الخسارة 11–18 نقطة. لكن في مهمة البحث يكلّف الحجب نفسه 46 نقطة من الدقة عند 32 ألف رمز، بينما النص نفسه إذا تُرك ظاهراً لا يكلّف شيئاً. وهذا يعني أن هذا البروتوكول لا يقيس الكلفة الصافية للطول.

ما العمل عملياً

من الناحية العملية، ما يهم ليس عدد الرموز بل عدد العبارات التي تتعارض مع الإجابة المطلوبة. فالنسخ القديمة من العقود والمسودات ونسخ السجلات المكررة بقيم مختلفة هي أخطر الجيران للمقطع المطلوب. كما نشر المؤلفون الشيفرة وأداة قياس الانتباه وجميع القياسات البالغ عددها 126 ألفاً على GitHub وHugging Face، بحيث يمكن التحقق بشكل مستقل، على النماذج المفتوحة، من حصة الانتباه على المقطع المطلوب.

وهناك قيود أيضاً. النماذج صغيرة، من 0.5 إلى 3 مليارات معامل، والمهمة مجرد البحث عن قيمة بحسب مفتاح، وليست مستندات مؤسسية حقيقية. أما العلاقة بين الانتباه والأخطاء فمستمدة من إحصاءات التشغيلات. لذلك ينطبق الاستنتاج تحديداً على البحث عن الحقائق في السياق الطويل، لا على جميع المهام ذات المدخلات الطويلة.