MWS AI وSberAI تقترحان DRAGOn: معيار ديناميكي لتقييم أنظمة RAG
قدّمت MWS AI وSberAI وشركاء أكاديميون DRAGOn، وهو معيار لتقييم أنظمة RAG يعتمد على مجموعة نصوص تُحدَّث بانتظام. وبدلًا من مجموعة أسئلة ثابتة، يستخرج المعيار حقائق جديدة من الأخبار تلقائيًا، ويولّد أزواج أسئلة وأجوبة (QA)، ويستبعد الأسئلة السهلة جدًا التي يمكن للنموذج الإجابة عنها من الذاكرة. كما أطلق المؤلفون لوحة متصدرين عامة تتيح المقارنة بين أنظمة الاسترجاع (ريتريفر) ونماذج التوليد.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
قدّم باحثون من MWS AI وSberAI وعدة جامعات DRAGOn، وهو معيار ديناميكي لتقييم أنظمة RAG التي تعمل على مجموعة نصوص تُحدَّث بانتظام. نُشر البحث على arXiv في يوليو 2025، ثم أُدرج في وقائع مؤتمر EACL 2026 في مارس 2026، بوصفه طريقة عملية لاختبار RAG على بيانات جديدة فعلًا، لا على مجموعة أسئلة مثبّتة منذ زمن طويل.
لماذا يصعب التقييم؟
يصطدم تقييم RAG دائمًا تقريبًا بالمشكلة نفسها: الاختبارات تشيخ أسرع من الأنظمة نفسها. فإذا بُني المعيار على مجموعة نصوص ثابتة، فقد يحقق النموذج نتيجة مرتفعة، لا لأنه يجيد البحث عن الوثائق وربطها، بل لأنه اطّلع على جزء من الحقائق أثناء التدريب.
وتضاف إلى ذلك صعوبة أخرى: يصعب في الجودة النهائية فصل مساهمة الريتريفر عن مساهمة المولّد. أما إعداد أزواج «سؤال — جواب» يدويًا لتحديث الاختبار باستمرار، فهو مكلف وبطيء، ولا يتسع تقريبًا للفرق التي تريد مقارنة الإصدارات الجديدة من خطوط معالجتها (pipelines) بانتظام.
كيف يعمل DRAGOn؟
يقترح المؤلفون بناء المعيار على شكل خط إنتاج. تجلب أدوات الاستخراج (parsers) المواد من مصادر إخبارية بانتظام، ثم تستخرج وحدة مستقلة من النصوص حقائق ذرّية على شكل ثلاثيات «فاعل — علاقة — مفعول». بعد ذلك يطابق النظام الكيانات مع Wikidata ويستبعد الحقائق المعروفة سلفًا، حتى لا تبقى في العيّنة سوى المعارف الجديدة.
ومن الرسم البياني الناتج تُبنى أسئلة بمستويات تعقيد مختلفة تلقائيًا، ويمكن إعادة إصدار المعيار بانتظام دون إعادة تجميع يدوي، مع تحكم واضح في الإصدارات.
- Simple — سؤال عن حقيقة واحدة
- Set — سرد عدة كيانات تجمعها علاقة مشتركة
- Multi-hop — سؤال يمر عبر كيان وسيط
- Conditional — إجابة تستوفي شرطين في آن واحد
وأضاف المؤلفون إلى ذلك لوحة متصدرين عامة، وفصلوا التقييم إلى جزء عام وآخر خاص. يخدم الجزء العام المقارنة المفتوحة بين النتائج، أما الجزء الخاص فيُستخدم للمطابقة الدقيقة مع الإجابات المرجعية ولمنع التحايل بالتكيّف مع الإجابات المعروفة.
يجعل هذا الأسلوب مقارنة تكوينات RAG المختلفة أكثر إنصافًا: يمكن لفريق أن يختبر ريتريفر جديدًا، ولآخر أن يختبر مولّدًا جديدًا، ويحصل كلاهما على نتيجة قابلة للمقارنة على مجموعة نصوص حديثة، لا على مجموعة ربما يكون النموذج قد حفظها مسبقًا.
كيف تجري عملية التحقق؟
حتى لا تتحول أزواج QA المولَّدة تلقائيًا إلى ضوضاء، يمررها DRAGOn عبر عدة مرشِّحات. يُفحص أولًا سلامتها اللغوية الأساسية باستخدام RuRoBERTa-large، ثم تخضع الأسئلة لفحص NER عبر Natasha.
بعد ذلك تُزال من المجموعة الأمثلة السهلة جدًا: إذا أجابت نماذج صغيرة مثل Qwen 2.5 7B أو LLaMa 3 8B دون الاعتماد على السياق، فإن السؤال لا يصلح لتقييم RAG المنصف، ويُستبعد من النسخة النهائية.
ويتولى POLLUX 7B الرقابة النهائية على الجودة بنمط LLM-as-a-Judge. يقيّم النموذج سلامة الصياغة وطبيعيتها وصحتها واعتماد السؤال على السياق، ثم تُقارن هذه التقييمات بالتوسيم البشري. وفي تجربة شملت 532 مثالًا، أظهر القاضي الآلي دقة عالية، وإن بدا صارمًا إلى حد ما.
وبعد الترشيح، يُبقي المؤلفون 150 سؤالًا عالي الجودة لكل فئة، ثم يختبرون الأنظمة بشكل منفصل في البحث وفي التوليد. وفي الاختبارات، تفوّقت على غيرها التركيبات التي تعتمد Qwen 3 Embedding 8B وE5 Mistral 7B Instruct. والخلاصة بسيطة: إذا عثر الريتريفر على السياق الصحيح، يصبح تقديم المولّد إجابة دقيقة أسهل بكثير.
ماذا يعني ذلك؟
يمثل DRAGOn محاولة لتحويل تقييم RAG من عرض يُجرى مرة واحدة إلى عملية تتجدد باستمرار. وبالنسبة للفرق التي تبني أنظمة بحث في الوثائق أو الأخبار أو قواعد المعرفة الداخلية، تكمن فائدة هذا النهج في أنه يقلّل خطر الثقة الزائفة: فقد يجيب النظام بشكل لافت عن بيانات مألوفة، لكنه يخفق أمام حقائق جديدة فعلًا. ويساعد المعيار الديناميكي على رصد هذا الفارق مبكرًا، ويعطي صورة أكثر إنصافًا عن مدى جاهزية RAG للعمل في بيئة حية.
- 12 نوفمبر 2026ثماني دول وOpenAI وAnthropic تعد بـ«زر إيقاف طارئ» لنماذج الذكاء الاصطناعي، لكن بلا مواعيد ولا غرامات
- 12 نوفمبر 2026ElevenLabs Scribe v3 Live يعلّم الوكلاء الصوتيين عدم المقاطعة: أخطاء أقل بنسبة 25%
- 12 نوفمبر 2026الأوامر الروسية في ComfyUI: FLUX.2 وQwen-Image تخسران 4–13 نقطة، وSD-Turbo تخسر كل شيء تقريبًا
- 8 نوفمبر 2026بروتوكول استقبال مدعوم بالذكاء الاصطناعي في موسكو يملأ 50 خانة خلال 35 ثانية، فيما تلتزم العيادات الخاصة الصمت
أسئلة وأجوبة حول الخبر
لماذا يصعب التقييم؟
يصطدم تقييم RAG دائمًا تقريبًا بالمشكلة نفسها: الاختبارات تشيخ أسرع من الأنظمة نفسها. فإذا بُني المعيار على مجموعة نصوص ثابتة، فقد يحقق النموذج نتيجة مرتفعة، لا لأنه يجيد البحث عن الوثائق وربطها، بل لأنه اطّلع على جزء من الحقائق أثناء التدريب. وتضاف إلى ذلك صعوبة أخرى: يصعب في الجودة النهائية فصل مساهمة الريتريفر عن مساهمة المولّد. أما إعداد أزواج «سؤال — جواب» يدويًا لتحديث الاختبار باستمرار، فهو مكلف وبطيء، ولا يتسع تقريبًا للفرق التي تريد مقارنة الإصدارات الجديدة من خطوط معالجتها (pipelines) بانتظام.
كيف يعمل DRAGOn؟
يقترح المؤلفون بناء المعيار على شكل خط إنتاج. تجلب أدوات الاستخراج (parsers) المواد من مصادر إخبارية بانتظام، ثم تستخرج وحدة مستقلة من النصوص حقائق ذرّية على شكل ثلاثيات «فاعل — علاقة — مفعول». بعد ذلك يطابق النظام الكيانات مع Wikidata ويستبعد الحقائق المعروفة سلفًا، حتى لا تبقى في العيّنة سوى المعارف الجديدة. ومن الرسم البياني الناتج تُبنى أسئلة بمستويات تعقيد مختلفة تلقائيًا، ويمكن إعادة إصدار المعيار بانتظام دون إعادة تجميع يدوي، مع تحكم واضح في الإصدارات.
كيف تجري عملية التحقق؟
حتى لا تتحول أزواج QA المولَّدة تلقائيًا إلى ضوضاء، يمررها DRAGOn عبر عدة مرشِّحات. يُفحص أولًا سلامتها اللغوية الأساسية باستخدام RuRoBERTa-large، ثم تخضع الأسئلة لفحص NER عبر Natasha. بعد ذلك تُزال من المجموعة الأمثلة السهلة جدًا: إذا أجابت نماذج صغيرة مثل Qwen 2.5 7B أو LLaMa 3 8B دون الاعتماد على السياق، فإن السؤال لا يصلح لتقييم RAG المنصف، ويُستبعد من النسخة النهائية. ويتولى POLLUX 7B الرقابة النهائية على الجودة بنمط LLM-as-a-Judge.
ماذا يعني ذلك؟
يمثل DRAGOn محاولة لتحويل تقييم RAG من عرض يُجرى مرة واحدة إلى عملية تتجدد باستمرار. وبالنسبة للفرق التي تبني أنظمة بحث في الوثائق أو الأخبار أو قواعد المعرفة الداخلية، تكمن فائدة هذا النهج في أنه يقلّل خطر الثقة الزائفة: فقد يجيب النظام بشكل لافت عن بيانات مألوفة، لكنه يخفق أمام حقائق جديدة فعلًا. ويساعد المعيار الديناميكي على رصد هذا الفارق مبكرًا، ويعطي صورة أكثر إنصافًا عن مدى جاهزية RAG للعمل في بيئة حية.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.