Rubric4Setwise: оценка наборов документов для RAG вместо ранжирования по релевантности

في يوليو 2026، قدّم باحثون SetwiseEvalKit — وهو معيار قياس (benchmark) لتقييم جودة مجموعة المستندات كاملة في البحث الموجّه لنماذج اللغة الكبيرة — إلى جانب طريقة training-free (لا تتطلب تدريباً) تُسمى Rubric4Setwise. وعند اختبار 12 من أنظمة إعادة الترتيب (rerankers)، لم تغطِّ أفضلها أكثر من 45% من معايير التقييم.

ما الخلل في التقييم القائم على الصلة

تقوم أنظمة تقييم البحث الحالية بترتيب كل مستند بشكل مستقل، ثم تجمع النتيجة في مقياس nDCG، متجاهلةً العلاقات بين المستندات. ووفقاً للدراسة المنشورة على arXiv، فإن هذا النهج لا يلتفت إلى التكرار الزائد (عندما تكرر المستندات بعضها بعضاً)، ولا إلى التعارضات (عندما تتناقض البيانات)، ولا إلى التكامل بينها — ولذلك لا يستطيع الإجابة عن السؤال الأساسي: لماذا تكون مجموعة مستندات أفضل من أخرى.

وهذا أمر بالغ الأهمية، لأن نماذج اللغة ووكلاء الذكاء الاصطناعي أصبحوا المستهلكين الرئيسيين لنتائج البحث: فجودة مجموعة المستندات تحدد السقف الأعلى لجودة النص المُولَّد في النهاية. فمجموعة سيئة تعني إجابة سيئة، مهما كان reranker المستخدَم قوياً.

كيف يعمل SetwiseEvalKit

SetwiseEvalKit هو معيار قياس مكوّن من ثلاثة مستويات وتسعة أبعاد، يقيّم مجموعة المستندات ككل، لا كل مستند على حدة. وهو يغطي سيناريوهات التوليد القصيرة والطويلة على حد سواء، ويحتوي على نحو 28000 معيار تقييم نوعي (rubrics).

• ثلاثة مستويات وتسعة أبعاد لتقييم مجموعة المستندات
• نحو 28000 معيار تقييم (rubrics)
• تغطية سيناريوهات short-form وlong-form على حد سواء
• أبعاد منفصلة لقياس التنسيق بين المستندات: التكرار، والتعارض، والتكامل

وهذه الأبعاد "الخاصة بالمجموعة" هي بالتحديد ما يكسر المنطق المعتاد: فقد يكون المستند ذا صلة بحد ذاته، لكنه يضر بالمجموعة — إما بتكرار مستند مجاور له أو بمناقضته.

ما الذي أظهره اختبار 12 من أنظمة إعادة الترتيب

لم ينجح أي من أنظمة إعادة الترتيب الـ12 التي جرى اختبارها في إنجاز المهمة: إذ حققت أفضل طريقة نسبة تغطية لا تتجاوز 45% من المعايير، وتبيّن أن أبعاد التنسيق بين المستندات ضعيفة لدى الجميع دون استثناء. ولم تحافظ أي طريقة على الصدارة في السيناريوهات القصيرة والطويلة في آن واحد — فالطريقة القوية في نمط معيّن كانت تتراجع في النمط الآخر.

"حتى أفضل طريقة لا تحقق أكثر من 45% من التغطية، وأبعاد التنسيق بين

النصوص ضعيفة بشكل عام"، كما جاء في ورقة الباحثين المنشورة على arXiv.

بمَ تساعد Rubric4Setwise

Rubric4Setwise هي طريقة training-free (لا تتطلب تدريباً) تحوّل معايير تقييم rubric إلى إشارات تُستخدَم في اختيار مجموعة المستندات. ووفقاً للدراسة، فإنها تنتج توليداً نهائياً أفضل باستخدام عدد أقل من المستندات وعدد أقل من جولات البحث. وهي الطريقة الوحيدة التي حافظت على نتيجة state-of-the-art في كلا السيناريوهين — القصير والطويل — لتغلق بذلك حلقة "التقييم ← التشخيص ← التحسين".

ما الذي يعنيه هذا

مع تزايد حلول نماذج اللغة الكبيرة (LLM) والوكلاء محل الإنسان في قراءة نتائج البحث، لم يعد الأهم هو "المستند الأكثر صلة"، بل جودة المجموعة كاملة. ويُظهر SetwiseEvalKit أن أنظمة إعادة الترتيب الحالية غير مستعدة لذلك، بينما تلمّح Rubric4Setwise إلى كيفية معالجة الأمر — من دون إعادة تدريب، ومع توفير في عدد المصادر.

أسئلة شائعة

ما هو Rubric4Setwise؟

Rubric4Setwise هي طريقة training-free لاختيار مجموعات المستندات في البحث الموجّه لنماذج اللغة الكبيرة. وهي تحوّل معايير تقييم rubric إلى إشارات اختيار، وتحقق توليداً أفضل باستخدام عدد أقل من المستندات وجولات البحث.

بمَ يختلف تقييم مجموعة المستندات عن الترتيب التقليدي؟

يقيّم الترتيب التقليدي عبر nDCG كل مستند على حدة، ولا يرى العلاقات بينها. أما تقييم المجموعة فيأخذ في الحسبان التكرار الزائد والتعارضات والتكامل بين المستندات — أي جودة المجموعة المختارة ككل، لا مجموع التقييمات الفردية.