ليس الطول بل السجلات المتعارضة: دقة LLM تنخفض من 97–100% إلى 11–21%

يُعتقد عادةً أن الشبكات العصبية ترتبك في المستندات الطويلة لمجرد أن النص أكثر مما ينبغي. وقد اختبر باحثون من جامعة كاليفورنيا في سان دييغو هذا الافتراض على مهمة العثور على معلومة داخل سياق، وخرجوا بنتيجة مختلفة. تخيّلوا نظام RAG دخلت في مطالبته نسختان من ملف إعدادات واحد: قديمة وجديدة، بقيمتين مختلفتين للمعامل نفسه. هذه السجلات تحديدًا، لا آلاف الرموز في ذاتها، هي ما يفسد الإجابة. فما دام السياق الذي يصل إلى 32 ألف رمز مملوءًا بنص محايد، يجيب نموذج Qwen2.5-1.5B إجابة صحيحة في 97–100% من الحالات. وعندما تشغل المواضع نفسها سجلات بصيغة المعلومة المطلوبة، تنخفض الدقة إلى 11–21%. والخلاصة العملية: ينبغي تنقية النسخ المكررة المتعارضة قبل إرسالها إلى المطالبة، وليس الاكتفاء باختصار المستند.

كيف صُمّمت التجربة

المهمة بسيطة عن قصد. يُخفى في نص طويل سطر واحد مثل «الرمز السري للنهر — 4821»، ثم يُسأل النموذج في النهاية عن رمز النهر. يقع السطر على عمق عشوائي، ويتراوح طول السياق من 512 إلى 32 ألف رمز. أُجري الاختبار على خمسة نماذج مفتوحة يتراوح حجمها من 0,5 إلى 3 مليارات معامل، وتنتمي إلى أربع عائلات، منها Qwen2.5 وLlama-3.2 وSmolLM2 وOLMo-2.

والقاعدة الرئيسة في التصميم أن طول السطر المطلوب وموضعه ثابتان دائمًا، ولا يتغير سوى ما يحيط به. في أحد الأنماط يكون المحيط أرقامًا عشوائية أو كلمات عشوائية أو جملة واحدة مكررة. وفي نمط آخر يكون سجلات على قالب السطر المطلوب، بمفاتيح مأخوذة من مجموعة تضم 51 اسمًا. وهناك نمط ثالث: يُحجب النص المحايد نفسه عن انتباه النموذج مع الإبقاء على مواضع الرموز.

ماذا أظهرت القياسات

على النص المحايد، تبقى الدقة عند 97–100% لدى أربعة من النماذج الخمسة: حتى 4 آلاف رمز لدى الأربعة جميعًا، وحتى 32 ألف رمز لدى Qwen2.5-1.5B. والاستثناء هو OLMo-2-1B، إذ تخسر عند 2048 رمزًا من النص المحايد 0,57 نات (الدقة 91%). والنات هنا وحدة قياس الخسارة في احتمال الإجابة الصحيحة: كلما كبرت القيمة ساءت النتيجة.

أما السجلات بصيغة السطر المطلوب، فتخفض الدقة إلى 11–21% عند أطوال تتراوح من 8 إلى 32 ألف رمز. وأشدّ الحالات ضررًا سجل يحمل المفتاح نفسه بقيمة مختلفة. فسجل واحد من هذا النوع يزيد خسارة النموذج بمقدار 9–110 مرة، وكل سجل إضافي يزيدها أكثر. وفي المقارنة على Qwen2.5-1.5B عند 32 ألف رمز، يكلّف النص المحايد 0,004 نات، والنص المحايد المحجوب 1,20 نات، والسجلات المتنافسة 4,76 نات. وتبلغ الخسائر الوسيطة مع المنافسين على هذا النموذج 2,82 و3,94 و4,03 و4,76 نات عند 8 و16 و24 و32 ألف رمز.

وتتبّع المؤلفون داخل النموذج مقدارًا واحدًا: حصة الانتباه التي تبقى على السطر المطلوب. وقد حسبوها من آخر رمز في الاستعلام، عبر ثمانية رؤوس انتباه هي الأكثر توجهًا إلى هذا السطر. وعلى 126 473 تشغيلًا، تفسّر هذه الحصة ما بين 35 و58% من تباين الخسائر، بينما لا يفسّر لوغاريتم طول السياق سوى 2–8%. ويستمر هذا الفارق عند الأطوال من 8 إلى 32 ألف رمز. والفكرة ببساطة: السجلات المتشابهة تسحب الانتباه من السطر المطلوب، وهذا ما يتزامن مع الأخطاء.

لماذا لم يثبت أن «الطول يضر بحد ذاته»

حجبت أعمال سابقة الرموز الزائدة عن الانتباه مع الإبقاء على مواضعها، ولاحظت انخفاض الدقة، فاستنتجت أن الطول ضار. وقد أعاد المؤلفون إنتاج ذلك على 1000 سؤال من MMLU مع Llama-3.2-3B وQwen2.5-7B-Instruct: فعند 30 ألف رمز محجوب بلغت الخسائر 11–18 نقطة. لكن في مهمة البحث، يكلّف الحجب نفسه 46 نقطة من الدقة عند 32 ألف رمز، بينما النص نفسه إذا بقي مرئيًا لا يكلّف شيئًا. وهذا يعني أن هذا البروتوكول لا يقيس الكلفة الصافية للطول.

ما العمل عمليًا

من الناحية العملية، المهم ليس عدد الرموز بل عدد العبارات التي تتعارض مع الإجابة المطلوبة. فالنسخ القديمة من العقود والمسودات ونسخ السجلات المكررة بقيم مختلفة هي أخطر ما يجاور المقطع المطلوب. كما نشر المؤلفون على GitHub وHugging Face الشيفرة وأداة قياس الانتباه وجميع القياسات البالغ عددها 126 ألفًا، ما يتيح التحقق بصورة مستقلة، على النماذج المفتوحة، من حصة الانتباه على المقطع المطلوب.

وثمة قيود أيضًا. فالنماذج صغيرة، من 0,5 إلى 3 مليارات معامل، والمهمة مجرد بحث عن قيمة بمفتاحها، وليست مستندات مؤسسية حقيقية. أما العلاقة بين الانتباه والأخطاء فمستخلصة من إحصاءات التشغيلات. ولذلك ينطبق الاستنتاج تحديدًا على البحث عن المعلومات في السياق الطويل، لا على كل المهام ذات المدخلات الطويلة.