تبدأ 23 نوفمبرالدفعة المباشرة 3 من Vibe Coding ووكلاء الذكاء الاصطناعي: 3 أسابيع و9 جلسات حيةالدفعة 3 (23.11) →
إصدارتحليل · على الرادارHabr AI→ المصدر

MWS AI وSberAI تقترحان DRAGOn: معيار ديناميكي لتقييم أنظمة RAG

قدّمت MWS AI وSberAI وشركاء أكاديميون DRAGOn، وهو معيار لتقييم أنظمة RAG يعتمد على مجموعة نصوص تُحدَّث بانتظام. وبدلًا من مجموعة أسئلة ثابتة، يستخرج المعيار حقائق جديدة من الأخبار تلقائيًا، ويولّد أزواج أسئلة وأجوبة (QA)، ويستبعد الأسئلة السهلة جدًا التي يمكن للنموذج الإجابة عنها من الذاكرة. كما أطلق المؤلفون لوحة متصدرين عامة تتيح المقارنة بين أنظمة الاسترجاع (ريتريفر) ونماذج التوليد.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
MWS AI وSberAI تقترحان DRAGOn: معيار ديناميكي لتقييم أنظمة RAG
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
حقيقة رئيسية #1Simple — سؤال عن حقيقة واحدة
حقيقة رئيسية #2Set — سرد عدة كيانات تجمعها علاقة مشتركة
حقيقة رئيسية #3Multi-hop — سؤال يمر عبر كيان وسيط

قدّم باحثون من MWS AI وSberAI وعدة جامعات DRAGOn، وهو معيار ديناميكي لتقييم أنظمة RAG التي تعمل على مجموعة نصوص تُحدَّث بانتظام. نُشر البحث على arXiv في يوليو 2025، ثم أُدرج في وقائع مؤتمر EACL 2026 في مارس 2026، بوصفه طريقة عملية لاختبار RAG على بيانات جديدة فعلًا، لا على مجموعة أسئلة مثبّتة منذ زمن طويل.

لماذا يصعب التقييم؟

يصطدم تقييم RAG دائمًا تقريبًا بالمشكلة نفسها: الاختبارات تشيخ أسرع من الأنظمة نفسها. فإذا بُني المعيار على مجموعة نصوص ثابتة، فقد يحقق النموذج نتيجة مرتفعة، لا لأنه يجيد البحث عن الوثائق وربطها، بل لأنه اطّلع على جزء من الحقائق أثناء التدريب.

وتضاف إلى ذلك صعوبة أخرى: يصعب في الجودة النهائية فصل مساهمة الريتريفر عن مساهمة المولّد. أما إعداد أزواج «سؤال — جواب» يدويًا لتحديث الاختبار باستمرار، فهو مكلف وبطيء، ولا يتسع تقريبًا للفرق التي تريد مقارنة الإصدارات الجديدة من خطوط معالجتها (pipelines) بانتظام.

كيف يعمل DRAGOn؟

يقترح المؤلفون بناء المعيار على شكل خط إنتاج. تجلب أدوات الاستخراج (parsers) المواد من مصادر إخبارية بانتظام، ثم تستخرج وحدة مستقلة من النصوص حقائق ذرّية على شكل ثلاثيات «فاعل — علاقة — مفعول». بعد ذلك يطابق النظام الكيانات مع Wikidata ويستبعد الحقائق المعروفة سلفًا، حتى لا تبقى في العيّنة سوى المعارف الجديدة.

ومن الرسم البياني الناتج تُبنى أسئلة بمستويات تعقيد مختلفة تلقائيًا، ويمكن إعادة إصدار المعيار بانتظام دون إعادة تجميع يدوي، مع تحكم واضح في الإصدارات.

  • Simple — سؤال عن حقيقة واحدة
  • Set — سرد عدة كيانات تجمعها علاقة مشتركة
  • Multi-hop — سؤال يمر عبر كيان وسيط
  • Conditional — إجابة تستوفي شرطين في آن واحد

وأضاف المؤلفون إلى ذلك لوحة متصدرين عامة، وفصلوا التقييم إلى جزء عام وآخر خاص. يخدم الجزء العام المقارنة المفتوحة بين النتائج، أما الجزء الخاص فيُستخدم للمطابقة الدقيقة مع الإجابات المرجعية ولمنع التحايل بالتكيّف مع الإجابات المعروفة.

يجعل هذا الأسلوب مقارنة تكوينات RAG المختلفة أكثر إنصافًا: يمكن لفريق أن يختبر ريتريفر جديدًا، ولآخر أن يختبر مولّدًا جديدًا، ويحصل كلاهما على نتيجة قابلة للمقارنة على مجموعة نصوص حديثة، لا على مجموعة ربما يكون النموذج قد حفظها مسبقًا.

كيف تجري عملية التحقق؟

حتى لا تتحول أزواج QA المولَّدة تلقائيًا إلى ضوضاء، يمررها DRAGOn عبر عدة مرشِّحات. يُفحص أولًا سلامتها اللغوية الأساسية باستخدام RuRoBERTa-large، ثم تخضع الأسئلة لفحص NER عبر Natasha.

بعد ذلك تُزال من المجموعة الأمثلة السهلة جدًا: إذا أجابت نماذج صغيرة مثل Qwen 2.5 7B أو LLaMa 3 8B دون الاعتماد على السياق، فإن السؤال لا يصلح لتقييم RAG المنصف، ويُستبعد من النسخة النهائية.

ويتولى POLLUX 7B الرقابة النهائية على الجودة بنمط LLM-as-a-Judge. يقيّم النموذج سلامة الصياغة وطبيعيتها وصحتها واعتماد السؤال على السياق، ثم تُقارن هذه التقييمات بالتوسيم البشري. وفي تجربة شملت 532 مثالًا، أظهر القاضي الآلي دقة عالية، وإن بدا صارمًا إلى حد ما.

وبعد الترشيح، يُبقي المؤلفون 150 سؤالًا عالي الجودة لكل فئة، ثم يختبرون الأنظمة بشكل منفصل في البحث وفي التوليد. وفي الاختبارات، تفوّقت على غيرها التركيبات التي تعتمد Qwen 3 Embedding 8B وE5 Mistral 7B Instruct. والخلاصة بسيطة: إذا عثر الريتريفر على السياق الصحيح، يصبح تقديم المولّد إجابة دقيقة أسهل بكثير.

ماذا يعني ذلك؟

يمثل DRAGOn محاولة لتحويل تقييم RAG من عرض يُجرى مرة واحدة إلى عملية تتجدد باستمرار. وبالنسبة للفرق التي تبني أنظمة بحث في الوثائق أو الأخبار أو قواعد المعرفة الداخلية، تكمن فائدة هذا النهج في أنه يقلّل خطر الثقة الزائفة: فقد يجيب النظام بشكل لافت عن بيانات مألوفة، لكنه يخفق أمام حقائق جديدة فعلًا. ويساعد المعيار الديناميكي على رصد هذا الفارق مبكرًا، ويعطي صورة أكثر إنصافًا عن مدى جاهزية RAG للعمل في بيئة حية.

القصة

أسئلة وأجوبة حول الخبر

لماذا يصعب التقييم؟

يصطدم تقييم RAG دائمًا تقريبًا بالمشكلة نفسها: الاختبارات تشيخ أسرع من الأنظمة نفسها. فإذا بُني المعيار على مجموعة نصوص ثابتة، فقد يحقق النموذج نتيجة مرتفعة، لا لأنه يجيد البحث عن الوثائق وربطها، بل لأنه اطّلع على جزء من الحقائق أثناء التدريب. وتضاف إلى ذلك صعوبة أخرى: يصعب في الجودة النهائية فصل مساهمة الريتريفر عن مساهمة المولّد. أما إعداد أزواج «سؤال — جواب» يدويًا لتحديث الاختبار باستمرار، فهو مكلف وبطيء، ولا يتسع تقريبًا للفرق التي تريد مقارنة الإصدارات الجديدة من خطوط معالجتها (pipelines) بانتظام.

كيف يعمل DRAGOn؟

يقترح المؤلفون بناء المعيار على شكل خط إنتاج. تجلب أدوات الاستخراج (parsers) المواد من مصادر إخبارية بانتظام، ثم تستخرج وحدة مستقلة من النصوص حقائق ذرّية على شكل ثلاثيات «فاعل — علاقة — مفعول». بعد ذلك يطابق النظام الكيانات مع Wikidata ويستبعد الحقائق المعروفة سلفًا، حتى لا تبقى في العيّنة سوى المعارف الجديدة. ومن الرسم البياني الناتج تُبنى أسئلة بمستويات تعقيد مختلفة تلقائيًا، ويمكن إعادة إصدار المعيار بانتظام دون إعادة تجميع يدوي، مع تحكم واضح في الإصدارات.

كيف تجري عملية التحقق؟

حتى لا تتحول أزواج QA المولَّدة تلقائيًا إلى ضوضاء، يمررها DRAGOn عبر عدة مرشِّحات. يُفحص أولًا سلامتها اللغوية الأساسية باستخدام RuRoBERTa-large، ثم تخضع الأسئلة لفحص NER عبر Natasha. بعد ذلك تُزال من المجموعة الأمثلة السهلة جدًا: إذا أجابت نماذج صغيرة مثل Qwen 2.5 7B أو LLaMa 3 8B دون الاعتماد على السياق، فإن السؤال لا يصلح لتقييم RAG المنصف، ويُستبعد من النسخة النهائية. ويتولى POLLUX 7B الرقابة النهائية على الجودة بنمط LLM-as-a-Judge.

ماذا يعني ذلك؟

يمثل DRAGOn محاولة لتحويل تقييم RAG من عرض يُجرى مرة واحدة إلى عملية تتجدد باستمرار. وبالنسبة للفرق التي تبني أنظمة بحث في الوثائق أو الأخبار أو قواعد المعرفة الداخلية، تكمن فائدة هذا النهج في أنه يقلّل خطر الثقة الزائفة: فقد يجيب النظام بشكل لافت عن بيانات مألوفة، لكنه يخفق أمام حقائق جديدة فعلًا. ويساعد المعيار الديناميكي على رصد هذا الفارق مبكرًا، ويعطي صورة أكثر إنصافًا عن مدى جاهزية RAG للعمل في بيئة حية.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…