Gramax توضح كيف تقارن جودة إجابات RAG دون تقييم يدوي «بالعين المجردة»

وصفت Gramax انتقالاً عملياً من التقييم الذاتي لأنظمة RAG إلى مقارنة قابلة للتكرار بين الإجابات. ويقترح الفريق ألا ننظر إلى مدى جاذبية مقاييس الاسترجاع (retrieval)، بل إلى ما إذا كان المستخدم يحصل من قاعدة المعرفة على إجابة دقيقة وكاملة وواضحة.

وكان الدافع إلى مراجعة النهج مشكلة شائعة في كل نظام بحث RAG تقريباً، سواء في الوثائق التقنية أو في قاعدة معرفة داخلية. فحتى لو نجح النظام في العثور على القطع النصية (chunks) ذات الصلة، فهذا لا يضمن جودة الإجابة النهائية. فالمستخدم لا يرى DCG ولا Recall@10 ولا reranking ولا غيرها من المؤشرات الداخلية. هو لا يرى سوى النص النهائي. وعلى هذا المستوى تحديداً تظهر أبرز الإخفاقات: قد يتجاهل النموذج جزءاً من السياق المسترجع، أو يجيب بلغة غير لغة السؤال، أو يضيف تفاصيل غير مؤكدة، أو يقدّم نصاً واثقاً لكنه عسير القراءة.

وتشير Gramax إلى أنها عملت سابقاً على تحسين طبقة الاسترجاع: اختارت مخطط تقسيم النص إلى قطع (chunking)، وأضافت البيانات الوصفية، ودمجت أنواعاً مختلفة من البحث، واستخدمت إعادة ترتيب النتائج. وهذه المجموعة من التقنيات ترفع فعلاً احتمال استخراج الأجزاء المطلوبة من قاعدة المعرفة. لكن بعد استقرار البحث يبرز السؤال التالي: كيف نعرف أن السلسلة بأكملها تعمل لصالح المستخدم النهائي، لا لصالح المهندس الذي يراقب لوحة المؤشرات التقنية؟ وعملياً، كثيراً ما تكون هذه الفجوة بين جودة البحث وجودة الإجابة سبباً لتفاؤل زائف أثناء تطوير أنظمة RAG.

والفكرة المحورية في المقال أن التقييم يجب أن يرتبط بسيناريو المستخدم. فمن يطرح سؤالاً على الوثائق لا تهمه قائمة القطع النصية التي استُخرجت بنجاح، بل الإجابة نفسها: هل تتضمن الحقيقة المطلوبة، وهل ضاعت فيها فروق دقيقة مهمة، وهل خلت من الهلوسات، وهل التزمت بلغة السؤال، وهل يمكن الوثوق بالصياغة. ويفرض هذا التحول في التركيز بناء فحص الجودة على نحو مختلف. فبدلاً من التقييم «بالعين المجردة»، يقترح الفريق تثبيت مجموعة من المعايير ومقارنة النماذج والإعدادات على العينة نفسها من الأسئلة. وهذا مهم خصوصاً حين لا تكون الفروق بين الخيارات واضحة، إذ يسهل أن يشوّه الانطباع الذاتي المأخوذ من مثالين ناجحين الصورة الحقيقية.

ويتعلق استنتاج عملي منفصل بمقارنة النماذج. تؤكد Gramax في مادتها أن الاعتماد على المقاييس المرجعية العامة (benchmarks) أو على سمعة النموذج في السوق لا يكفي لمهام RAG. فقد يكون النموذج نفسه قوياً في التوليد لكنه أضعف في الانضباط بالسياق المسترجع عند الإجابة. لذلك ينبغي إجراء المقارنة في سياق تطبيقي: على أسئلة الفريق نفسه، وعلى قاعدة المعرفة الخاصة به، وبقواعد فحص واضحة. وبهذه الطريقة يمكن معرفة أي نموذج يحافظ على الوقائع على نحو أفضل، ولا ينجرف إلى الاختلاق، ويتعامل مع اللغة بصورة صحيحة، ويجيب بثبات عن الاستفسارات المتشابهة.

وهذه إشارة مهمة للسوق. فمشاريع RAG تُنشر بوتيرة متزايدة في خدمات الدعم الفني والأدلة المرجعية الداخلية وقواعد اللوائح والوثائق التقنية للمنتجات، حيث تكلّف الأخطاء في الإجابة أكثر من تراجع مقياس بحث مجرد. ونهج Gramax ينقل الحديث عن الجودة فعلياً من المجال الهندسي إلى المجال المنتجي: فالنظام الجيد ليس ذاك الذي يبدو جذاباً في تقرير الاسترجاع، بل ذاك الذي يقدّم للمستخدم باستمرار إجابة مفيدة يمكن التحقق منها. وكلما بدأت الفرق مبكراً بقياس هذه الطبقة تحديداً، كفّت أسرع عن الخلط بين السياق المسترجع وحلّ مهمة المستخدم فعلياً.

ويعني ذلك أن المرحلة التالية من تطور أنظمة RAG لن ترتبط بتحسين البحث وحده، بل أيضاً بترسيخ تقييم الإجابة بوصفها منتجاً مستقلاً. أما الفرق التي أعدّت بالفعل تقسيم النص إلى قطع والبحث الهجين وreranking، فقد تكون هذه المنهجية بالذات أهم وسيلة لديها لمعرفة أي توليفة من النماذج والمطالبات (prompts) تعمل فعلاً في بيئة الإنتاج.