Ragas وDeepEval وRAGChecker وOpik: أي مقاييس RAG تعمل فعلًا

في 12 يوليو 2026 نشر باحثون فرنسيون على arXiv دراسة تجريبية حول مقاييس أنظمة RAG (التوليد المعزَّز بالاسترجاع، Retrieval-Augmented Generation). وقارن الباحثون مدى قدرة أربع مكتبات شائعة للمقاييس على التنبؤ بالجودة كما يقيّمها الإنسان، وذلك على بيانات حقيقية من أنظمة أعمال.

ما المقاييس التي جرى اختبارها

اختار الباحثون أربع مكتبات لمقاييس RAG:

• Ragas — مقاييسها قائمة على تقييم LLM وعلى مقاييس استرجاع المعلومات (IR) الكلاسيكية
• DeepEval — تركّز على الارتباط بتقييمات البشر
• RAGChecker — موجَّهة نحو التحقق من صحة السياق
• Opik — أداة للمراقبة والتقييم من OpenAI

واستخدم الباحثون إضافةً إلى ذلك مقاييس قياسية، منها recall وprecision وF1 وغيرها.

أنشأ الباحثون بيانات الاختبار بأنفسهم: إذ وضع مُعلِّقون بشريون علامات على الأسئلة والأجوبة استنادًا إلى مستندات أعمال حقيقية. وأتاح ذلك تجنّب البيانات الاصطناعية واختبار المقاييس في ظروف طبيعية.

ما الذي يرتبط بالجودة

إذا كان المقياس يتنبأ بالجودة فعلًا، فيجب أن ترتبط تقييماته بتقييمات الإنسان. وتبيّن أن المقاييس المختلفة من المكتبة نفسها (وبخاصة من مكتبات مختلفة) تعطي نتائج متباينة بشدة.

ارتبطت بعض المقاييس ارتباطًا جيدًا بتقييمات البشر على مجموعة البيانات كاملة، لكنها تنبأت بشكل سيئ على مجموعة فرعية منها. وأظهرت مقاييس أخرى ارتباطات معاكسة: ترتفع قيمة المقياس بينما ينخفض تقييم الإنسان.

«لاحظنا أن التجميع البسيط لعدة مقاييس لا يضمن نتيجة أفضل»، يخلص مؤلفو الدراسة.

لماذا تحتاج النتائج إلى تدقيق

أشار الباحثون بصراحة إلى حدود منهجيتهم: فحجم مجموعة البيانات كان صغيرًا نسبيًا، والبيانات مأخوذة من مجال واحد (مستندات الأعمال)، ولم تُستخدم جميع المقاييس في المكتبات الأربع بشكل كامل. كما أن منهجية التقييم نفسها اعتمدت على اختيار المُعلِّقين، إذ قد يعطي أشخاص مختلفون أحيانًا تقييمات مختلفة للإجابة نفسها.

وإضافةً إلى ذلك، تشير الدراسة إلى أن بعض المقاييس تؤدي أداءً ضعيفًا في الحالات التي تكون فيها الإجابة صحيحة لكنها مُعاد صياغتها، أو حين يحتوي السياق على المعلومة المطلوبة لكن المقياس لا يلتقطها.

ماذا يعني ذلك

لا يوجد مقياس RAG عالمي يعمل بالكفاءة نفسها على جميع أنواع الأنظمة. وعلى مطوّري تطبيقات RAG اختيار المقاييس بما يناسب مهمتهم، والأفضل الجمع بين عدة مقاربات والتحقق منها بانتظام على بيانات حقيقية موسومة بشريًا.

أسئلة شائعة

أي مقياس أختار لنظام RAG الخاص بي؟

لا توجد إجابة قاطعة. يوصي المؤلفون بالبدء بمقاييس بسيطة (recall وprecision)، ثم إضافة إحدى المكتبات الأربع (مثلًا Ragas إذا كانت السرعة مطلوبة، أو DeepEval إذا كان الارتباط بتقييم الإنسان هو الأهم)، مع ضرورة التحقق من النتائج على بياناتك الخاصة.

لماذا تعطي مقاييس من مكتبات مختلفة نتائج مختلفة؟

لأن كل مكتبة تستخدم صيغًا مختلفة، ونماذج LLM مختلفة للتقييم، وتعريفات مختلفة لـ«الجودة». فقد تعدّ Ragas مطابقة المعلومات المصدرية أمرًا مهمًا، بينما تركّز RAGChecker على سلامة المنطق في الإجابة. وقد يتطابق ذلك على بعض البيانات ولا يتطابق على بيانات أخرى.