Ragas, DeepEval, RAGChecker, Opik: какие метрики RAG действительно работают

في 12 يوليو 2026، نشر باحثون فرنسيون على arXiv دراسة تجريبية عن مقاييس أنظمة RAG (Retrieval-Augmented Generation). قارن العلماء مدى فعالية أربع مكتبات مقاييس شهيرة في التنبؤ بالجودة كما قيّمها الإنسان على بيانات حقيقية من الأنظمة التجارية.

أي المقاييس تم اختبارها

اختار الباحثون أربع مكتبات مقاييس RAG:

• Ragas — مقاييس تستند إلى تقييم LLM والمقاييس الكلاسيكية لاسترجاع المعلومات
• DeepEval — التركيز على الارتباط مع تقييمات الإنسان
• RAGChecker — موجهة نحو التحقق من صحة السياق
• Opik — أداة المراقبة والتقييم من OpenAI

بالإضافة إلى ذلك، تم استخدام مقاييس معيارية: recall و precision و F1 وغيرها.

تم إنشاء بيانات الاختبار من قبل الباحثين أنفسهم: قام معلقون بشريون بوضع علامات على الأسئلة والإجابات بناءً على وثائق تجارية حقيقية. سمح هذا لهم بتجنب البيانات الاصطناعية واختبار المقاييس في بيئة طبيعية.

ما الذي يرتبط بالجودة

إذا كانت المقياس تتنبأ حقاً بالجودة بشكل جيد، فيجب أن تكون درجاتها مرتبطة بدرجات الإنسان. اتضح أن المقاييس المختلفة من نفس المكتبة (والأخص من مكتبات مختلفة) أعطت نتائج مختلفة جداً.

ارتبطت بعض المقاييس جيداً بتقييمات الإنسان على مجموعة البيانات الكاملة، لكنها تنبأت بشكل سيء على مجموعة فرعية. أظهرت أخرى ارتباطات معاكسة: ارتفعت مقياس واحد بينما انخفض التقييم البشري.

"اكتشفنا أن التجميع البسيط لعدة مقاييس لا يضمن نتيجة أفضل"، يخلص مؤلفو الدراسة.

لماذا يجب توضيح النتائج

لاحظ الباحثون بصراحة حدود منهجيتهم: كان حجم مجموعة البيانات صغيراً نسبياً، وتم الحصول على البيانات من مجال واحد فقط (الوثائق التجارية)، ولم يتم استخدام جميع المقاييس من المكتبات الأربع بالكامل. اعتمدت منهجية التقييم نفسها على اختيار المعلقين — يعطي الأشخاص المختلفون أحياناً تقييمات مختلفة لنفس الإجابة.

بالإضافة إلى ذلك، تشير الورقة إلى أن بعض المقاييس تؤدي أداءً سيئاً في الحالات التي تكون فيها الإجابة صحيحة لكن معاد صياغتها، أو عندما يحتوي السياق على المعلومات الضرورية لكن المقياس لا يلاحظها.

ما يعنيه هذا

لا توجد مقياس RAG عالمي يعمل بنفس الفعالية لجميع أنواع الأنظمة. يحتاج مطورو تطبيقات RAG إلى اختيار المقاييس المناسبة لمهمتهم المحددة، والأفضل هو دمج عدة نهج والتحقق منها بانتظام على بيانات حقيقية مع التعليق البشري.

الأسئلة الشائعة

أي مقياس يجب أن أختار لنظام RAG الخاص بي؟

لا توجد إجابة نهائية. يوصي المؤلفون بالبدء بمقاييس بسيطة (recall و precision)، ثم إضافة إحدى المكتبات الأربع (على سبيل المثال، Ragas إذا كانت السرعة مطلوبة؛ DeepEval إذا كان الارتباط مع البشر مهماً) والتحقق بالتأكيد على بياناتك الخاصة.

لماذا تعطي المقاييس من مكتبات مختلفة نتائج مختلفة؟

تستخدم كل مكتبة صيغاً مختلفة وموديلات LLM مختلفة للتقييم وتعاريف مختلفة للـ "جودة". قد تعتبر Ragas توافق المعلومات الأصلية مهماً، بينما تقيّم RAGChecker صحة المنطق في الإجابة. في بعض البيانات يتطابق هذا، وفي بيانات أخرى لا.