معيار DRAGOn من MWS AI وسبير يختبر RAG على أخبار حديثة: 150 سؤالًا لكل فئة
RAG هو أن يبحث النموذج عن البيانات في قاعدتك قبل أن يجيب، ومن الصعب اختباره بإنصاف: فقد يكون النموذج قد رأى الاختبارات القديمة أثناء التدريب. يأخذ DRAGOn من MWS AI وسبير أخبارًا حديثة ويستخرج منها الوقائع، ثم يستبعد ما هو موجود أصلًا في Wikidata. ومن الوقائع المتبقية تُبنى أسئلة من أربعة أنواع، مع اختيار أفضل 150 سؤالًا لكل فئة. لذلك من الأجدى مقارنة أنظمة RAG على ما لم يكن النموذج يعرفه.
معالج بواسطة الذكاء الاصطناعي من Habr: MTS AI؛ بتحرير Hamidun News
يمكن اليوم بناء نظام RAG في أمسية واحدة: تربط قاعدة بيانات متجهية، وتختار نموذج تضمين (embedding)، وتضيف LLM. يعني RAG (Retrieval-Augmented Generation) أن النموذج يبحث أولًا عن المستندات اللازمة في قاعدة متصلة به، ثم يضيفها إلى الطلب قبل أن يجيب. أما الإجابة عن سؤال: هل يعمل كل ذلك جيدًا؟ فأصعب بكثير. تتناول هذه المشكلةَ ورقة DRAGOn: Designing RAG On Periodically Updated Corpus. وقد قدّم مؤلفوها من MWS AI وسبير وعدة جامعات عملهم في مؤتمر EACL 2026. DRAGOn هو معيار قياس (benchmark)، أي مجموعة أسئلة اختبارية تُبنى تلقائيًا من أخبار حديثة. وبعد جميع المرشحات يبقى فيه 150 سؤالًا لكل فئة. الفكرة أن يُختبر البحث، لا ذاكرة النموذج.
لماذا تضلّل المعايير المعتادة في تقييم RAG
تشترك معظم اختبارات RAG في عدة نقاط ضعف. فمجموعة المستندات ثابتة، ومع الوقت تتوقف عن عكس العالم الحقيقي. وتُوسَم الأسئلة والأجوبة في الغالب يدويًا، وهذا بطيء ومكلف. يضاف إلى ذلك أن من الصعب معرفة أي مكوّن في النظام أثّر في النتيجة.
لكن المشكلة الأكثر إزعاجًا في موضع آخر: لا يُعرف سبب النتيجة الجيدة. ربما وجد البحث فعلًا الفقرة المطلوبة. وربما حفظ النموذج الأساسي هذه الوقائع أثناء التدريب فأجاب من الذاكرة. تخيّل أنك تختبر فريق دعم يُفترض أن يقرأ قاعدة معارفك، فإذا به يجيب من رأسه. سيُظهر الاختبار «ممتاز»، مع أن البحث ربما لم يعمل أصلًا.
ويختصر المؤلفون ذلك في صياغة واحدة: العيّنة الاختبارية ليست مستقلة عن بيانات التدريب. والحل الذي يقترحونه مباشر: بناء المعيار على معارف لم يرَها النموذج قطعًا. ولهذا يلزم ثلاثة أجزاء: مجموعة مستندات تُحدَّث بانتظام، وتوليد تلقائي لأزواج «سؤال — جواب»، ونظام تقييم موحّد ومتاح للجميع.
كيف يصنع DRAGOn الأسئلة من الأخبار
خط المعالجة متسلسل، ويمكن إعادة إنتاج كل خطوة فيه.
أولًا تجلب المحلِّلات (parsers) النصوص من مصادر خارجية. في الورقة هذه المصادر مجمِّعات أخبار، لكن النهج لا يرتبط بالأخبار. ثم يستخرج Llama 3.3 70B Instruct من النصوص وقائع على شكل ثلاثيات «فاعل — علاقة — مفعول»، مثل «الشركة X — استحوذت على — الشركة الناشئة Y».
بعد ذلك تأتي العملية الأهم لنقاء الاختبار. تُفحص كل واقعة عبر Wikidata API. فإذا كانت موجودة هناك تُستبعد، لأن النموذج ربما كان يعرفها. بعدها يوحّد Llama نفسه أسماء الكيانات والعلاقات، ولا تدخل الرسم البياني إلا الوقائع الجديدة.
ومن الرسم البياني تُبنى أسئلة من أربعة أنواع:
- سؤال عن واقعة واحدة: «من يترأس SpaceX؟»؛
- سؤال بإجابات متعددة في قائمة: «لأي أفلام ألّف هانس زيمر الموسيقى؟»؛
- سؤال بسلسلة وقائع يُخفى فيها الكيان الوسيط: «في أي بلد تقع الشركة التي باعت 2139 سيارة في عام 2023؟»؛
- سؤال بتقاطع شروط تكون إجابته كيانًا مشتركًا: «من غنّى في M-bar والتقى بديمتري ديبروف؟».
ثم تأتي تنقية متعددة المراحل. يستبعد نموذج أول الأخطاء النحوية والصياغات غير الطبيعية. وتفحص مكتبة NER الكيانات المسمّاة. وتحاول نماذج صغيرة الإجابة بلا سياق، فإذا نجحت يُحذف السؤال لأنه سهل أكثر من اللازم ولا يتطلب بحثًا. أما التقييم الرئيسي فيجريه POLLUX 7B في دور حَكَم LLM: من 0 إلى 2 نقطة على سلامة اللغة، والطبيعية، والصحة، والاعتماد على السياق. ويدخل المجموعة النهائية 150 سؤالًا لكل فئة.
وقد قارن المؤلفون الحَكَم بمُحرّرين بشريين. أظهر POLLUX 7B دقة عالية لكن استرجاعًا (recall) معتدلًا: فهو ينتقي الأسئلة الجيدة بموثوقية، لكنه يرفض أحيانًا أسئلة سليمة. وهذا مقبول لمعيار كهذا، فالأفضل الحصول على أسئلة أقل لكن بجودة مؤكَّدة.
ما أظهرته الاختبارات وما حدودها
قُيّم البحث والتوليد كلٌّ على حدة. في البحث حُسب عدد المرات التي يظهر فيها المستند الصحيح ضمن أعلى N نتائج، ومدى علوّ ترتيبه (مقياس MRR). وسجّلت أفضل النتائج التركيباتُ المبنية على Qwen3 Embedding 8B وE5 Mistral 7B Instruct. وفي التوليد اعتُمد ROUGE-2 وROUGE-L، أي تطابق الكلمات والعبارات مع الجواب المرجعي. وتركّز التقييم الأساسي على POLLUX 7B: إلى أي مدى الجواب صحيح وكامل ومستند إلى السياق الذي عُثر عليه.
جاء الاستنتاج بسيطًا: ما تعطيه من سياق تحصل عليه من جواب. فالأنظمة ذات البحث القوي قدّمت أيضًا أفضل الأجوبة. وعمليًا يعني هذا أنه عند تصحيح أخطاء RAG ينبغي أن تفحص أولًا المسترجِع (retriever) ونماذج التضمين، لا أن تغيّر النموذج المولِّد.
كما أطلق المؤلفون لوحة صدارة (leaderboard) عامة. وتُرسَل النتائج عبر مكتبة خاصة. وجزء من البيانات مخفي للتحقق، كي تبقى المقارنة نزيهة.
وللعمل حدود. فالمعيار حتى الآن يغطي الأخبار الناطقة بالروسية فقط، والتدفق الإخباري يختلف عن النصوص الطبية أو القانونية أو العلمية. تسمح البنية بنقل النهج إلى مجالات أخرى، لكن لا توجد نسخ جاهزة لها. وإضافة إلى ذلك، يسرّع حَكَم LLM العمل لكنه لا يحل محل الخبير: فما زال يميل إلى الحذر الزائد.
والخلاصة العملية للفرق التي تبني RAG بالروسية: إذا كان لديك تدفق مستندات يتجدد باستمرار (دعم فني، قاعدة معارف، أخبار القطاع)، فيمكنك تكرار هذه الخطة: استخرج الوقائع، واستبعد ما يعرفه النموذج، وابنِ الأسئلة على الجديد فقط. بهذا يقيس الاختبار عمل البحث، لا ذاكرة النموذج.
- 21 نوفمبر 2026كاليفورنيا تقاضي OpenAI بسبب وكلاء ذكاء اصطناعي اخترقوا Hugging Face: غرامة 2500 دولار عن كل مخالفة
- 21 نوفمبر 2026Apple تعدّ نظارات ذكية بلا شاشة: مساعد قائم على Siri يرى عبر الكاميرا، والإطلاق في 2027
- 21 نوفمبر 2026لدى 98% من كبرى الشركات الأمريكية سياسات للذكاء الاصطناعي، لكن 47% منها تجاوزتها على عجل
- 21 نوفمبر 2026مركز Huawei Ascend يضيف 26 نسخة مرآة لنماذج مفتوحة خلال خمس ساعات
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول لماذا تضلّل المعايير المعتادة في تقييم RAG؟
تشترك معظم اختبارات RAG في عدة نقاط ضعف. فمجموعة المستندات ثابتة، ومع الوقت تتوقف عن عكس العالم الحقيقي. وتُوسَم الأسئلة والأجوبة في الغالب يدويًا، وهذا بطيء ومكلف. يضاف إلى ذلك أن من الصعب معرفة أي مكوّن في النظام أثّر في النتيجة. لكن المشكلة الأكثر إزعاجًا في موضع آخر: لا يُعرف سبب النتيجة الجيدة. ربما وجد البحث فعلًا الفقرة المطلوبة. وربما حفظ النموذج الأساسي هذه الوقائع أثناء التدريب فأجاب من الذاكرة. تخيّل أنك تختبر فريق دعم يُفترض أن يقرأ قاعدة معارفك، فإذا به يجيب من رأسه.
ما أبرز التفاصيل حول كيف يصنع DRAGOn الأسئلة من الأخبار؟
خط المعالجة متسلسل، ويمكن إعادة إنتاج كل خطوة فيه. أولًا تجلب المحلِّلات (parsers) النصوص من مصادر خارجية. في الورقة هذه المصادر مجمِّعات أخبار، لكن النهج لا يرتبط بالأخبار. ثم يستخرج Llama 3.3 70B Instruct من النصوص وقائع على شكل ثلاثيات «فاعل — علاقة — مفعول»، مثل «الشركة X — استحوذت على — الشركة الناشئة Y». بعد ذلك تأتي العملية الأهم لنقاء الاختبار. تُفحص كل واقعة عبر Wikidata API. فإذا كانت موجودة هناك تُستبعد، لأن النموذج ربما كان يعرفها.
ما أبرز التفاصيل حول ما أظهرته الاختبارات وما حدودها؟
قُيّم البحث والتوليد كلٌّ على حدة. في البحث حُسب عدد المرات التي يظهر فيها المستند الصحيح ضمن أعلى N نتائج، ومدى علوّ ترتيبه (مقياس MRR). وسجّلت أفضل النتائج التركيباتُ المبنية على Qwen3 Embedding 8B وE5 Mistral 7B Instruct. وفي التوليد اعتُمد ROUGE-2 وROUGE-L، أي تطابق الكلمات والعبارات مع الجواب المرجعي. وتركّز التقييم الأساسي على POLLUX 7B: إلى أي مدى الجواب صحيح وكامل ومستند إلى السياق الذي عُثر عليه. جاء الاستنتاج بسيطًا: ما تعطيه من سياق تحصل عليه من جواب. فالأنظمة ذات البحث القوي قدّمت أيضًا أفضل الأجوبة.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.