وسم «لا توجد مستندات مرجعية» تراجعت دقته من 0,68 إلى 0,10 مع المسترجعات القوية

تقيّم معايير RAG الحوارية، مثل MTRAG وRETECO، النظام ككل: يجيب النموذج اعتمادًا على المستندات التي عثر عليها بنفسه، وعليه أن يمتنع عن الإجابة إذا لم تكن الإجابة فيها. ولاحتساب الامتناع لا بد من معرفة ما إذا كان السياق المسترجع كافيًا. وتعذّر وسم سياقات جميع الأنظمة يدويًا، لذلك يلجأ الباحثون عمليًا إلى تبسيط: إذا لم يكن بين المستندات المسترجعة أي مستند مرجعي (gold) من وسوم الصلة، عُدّ السياق غير كافٍ للإجابة.

اختبر صاحب دراسة إعادة إنتاج من مدرسة Letovo في موسكو هذه القاعدة على RECOR (المسار الثاني من RETECO)، وبيّن أنها تتوقف عن العمل كلما تحسّن المسترجِع، أي وحدة البحث الأولي عن المستندات. فقد تراجعت دقتها من 0,68 إلى 0,10، بينما ارتفع nDCG@10 (مقياس جودة الترتيب ضمن أعلى 10 نتائج) من 0,18 إلى 0,59.

كيف اختُبرت القاعدة

تتألف RECOR من حوارات، يحوّل كل منها سؤالًا من StackExchange أو من BRIGHT إلى 3–5 ردود قصيرة تعتمد على السياق. ولكل رد مستندات مرجعية وإجابة مرجعية ولّدها GPT-4.1 من حقائق ذرّية جرى التحقق منها. وتضم مجموعات المستندات الخاصة بالمجالات من 16 ألفًا إلى 121 ألف مستند، بما فيها أمثلة سلبية جُمعت لكل سؤال. واستخدم الباحث 858 ردًا من الجزء dev، موزعة على 211 حوارًا.

بدأ بإعادة إنتاج خطوط الأساس الرسمية لـ BM25 بدقة تامة: تطابقت النتائج مع المنشورة حتى الخانة العشرية الرابعة في جميع المجالات الأحد عشر (المتوسطات الكلية لـ nDCG@10 على dev — 0,183 و0,438). ثم بنى «سلّمًا» من أربعة مسترجعات: BM25 على الرد الحالي، وBM25 مع تاريخ الحوار، وFusion (دمج تشغيلات BM25 على ثلاثة توسيعات للاستعلام ولّدها LLM)، وهجين مع المسترجع الكثيف reason-embed-qwen3-4b. بلغت قيم nDCG@10 لها على dev ما يلي: 0,183 و0,438 و0,550 و0,591، أما نسبة الردود التي يظهر لها مستند مرجعي واحد على الأقل ضمن أعلى 5 نتائج فكانت 0,28 و0,65 و0,77 و0,82.

قيّم محتوى كل سياق قاضيان مفتوحان من نوع LLM ولجنة من أربعة نماذج صغيرة: Qwen3-4B-Instruct-2507 وPhi-4-mini-instruct وSmolLM3-3B وGranite-3.3-8B-instruct. وإضافة إلى ذلك، وسم Claude Opus 5.5 عمياءَ 250 سياقًا دون أن يرى المسترجِع ولا وسم qrels. تطابق تشغيلاه في 97% من الحالات، وحُسمت الأمثلة الخلافية بتشغيل ثالث. وأجابت النماذج Qwen3-1.7B وQwen3-4B-Instruct-2507 وQwen3-8B.

كلما قوي المسترجِع، زادت أخطاء القاعدة

من بين السياقات الخالية من gold، ارتفعت نسبة تلك التي تحتوي على الإجابة مع ذلك من 28% إلى 72%. وتراجعت دقة القاعدة بوصفها كاشفًا للسياق غير الكافي من 0,68 إلى 0,10، ووفق التدقيق الأعمى من 0,70 إلى 0,21. والسبب نقص في الوسوم. ففي أغلب الأحيان تكون الإجابة في سلبي صعب جُمع للسؤال نفسه، أو في مستند مرجعي لرد آخر، أو في مقطع مجاور من الصفحة المرجعية. وفي مثال أجهزة قياس الجلوكوز، يشرح المستند المسترجع أن إنزيم غلوكوز أوكسيداز نوعي لـ D-glucose فقط. لكنه موسوم في qrels بوصفه سلبيًا، ولم يُرجع البحث مستند gold الحقيقي الذي يحتوي على المقطع نفسه.

تدعم هذه الاستنتاجات فحوص مستقلة: عدّ نسخ مستندات gold دون مشاركة القضاة، والتدقيق الأعمى، والضبط السلبي، وتقييمات البشر على MTRAG، وإجابات النموذج نفسه. يجيب Qwen3-4B بشكل صحيح عن 62–67% من حالات الإخفاق الكاذبة هذه، وعن 23–30% من السياقات التي عدّها القضاة غير كافية، وعن 1% من الردود بلا مستندات. وتُظهر القضاة الصغار الأربعة التراجع نفسه، لكن تقييماتهم أكثر تساهلًا من تقييمات القضاة الكبار.

ماذا يتغير في تقييم الامتناع عن الإجابة

قد يقلب اختيار الوسم الاستنتاجات رأسًا على عقب. فعند التقييم بحسب وجود gold، تظهر قيمة AUROC لتحديد قابلية الإجابة أقل من حقيقتها، إذ تهبط حتى 0,19، ويبدو أفضل كاشف للكفاية هو درجة المسترجِع التي لا تقرأ المستندات أصلًا. وعلى MTRAG، حيث أجرى المُعلِّقون الوسم ولا توجد سلبيات مجموعة، تنخفض دقة القاعدة من 0,72 إلى 0,50. أي أن الأثر لا يقتصر على RECOR.

وثمة تحفظات. فقد ولّد النموذج المغلق Claude Sonnet 5 توسيعات الاستعلام لـ Fusion والهجين. وعند إعادة البناء باستخدام نموذج مفتوح، تعطي مقاطع Query2doc مع BM25 قيمة 0,453 بدلًا من 0,546. أما اتفاق تشغيلَي المدقِّق بنسبة 97% فيعكس اتساق نموذج واحد مع نفسه، لا اتفاق واضعي وسوم مستقلين.

وتوصية المؤلف العملية: عند مقارنة مسترجعات مختلفة القوة، يُحتسب الامتناع بحسب وسم المحتوى لكل سياق، لا بحسب وجود gold. وإلا بدا المسترجِع القوي أسوأ مما هو عليه، ونال النموذج الذي امتنع عن الإجابة مع أن الإجابة موجودة في المستندات احتسابًا صحيحًا. وقد نُشرت الشيفرة والتشغيلات والوسوم في المستودع reteco-2026.