كاشف هلوسة من 6 نماذج لغوية رصد أخطاء في الوسوم المرجعية

جمعت فريق من الباحثين كاشف الهلوسة training-free من ستة نماذج لغة جاهزة وحصلوا على مقاييس عالية — لكنهم واجهوا نتيجة غير متوقعة: مجموعة من الأمثلة حيث أجمع جميع قضاة LLM بالإجماع على أن الإجابة صحيحة، رغم أن التعليق المرجعي علّم هلوسة. عندما قام المؤلفون بتشغيل إجراء التحقق الخاص بهم، تبين أن الكاشف لم يكن مخطئاً، بل المقياس المعياري.

كيف يعمل كاشف LLM المجمع

بدلاً من تدريب نموذج متخصص، دمج الباحثون ستة نماذج لغة جاهزة بدور "قضاة" مستقلين. يقيّم كل نموذج بشكل مستقل ما إذا كانت الإجابة تحتوي على هلوسة، ويتم إصدار الحكم النهائي بمبدأ الإجماع: إذا اتفق معظم القضاة، تُعتبر النتيجة موثوقة.

يقلل الأسلوب training-free بشكل أساسي من حاجز الدخول: لا حاجة لجمع مجموعة بيانات متخصصة للهلوسة ولا حاجة لضبط النموذج لنطاق معين. هذا يجعل الكاشف قابلاً للنقل بسهولة بين المهام. كانت المقاييس على المقاييس المعيارية الموحدة عالية — وهو ما جذب انتباه المؤلفين إلى مجموعة من الأمثلة الشاذة.

• ستة قضاة LLM مستقلين بدون ضبط دقيق (zero-shot)
• الحكم بمبدأ إجماع الأصوات الأغلبية
• لا حاجة لبيانات معليقة متخصصة
• نقل سهل بين النطاقات والمهام
• دقة عالية على المقاييس المعيارية الموحدة

لماذا اختلف القضاة عن التعليق المرجعي

للوهلة الأولى، بدت الحالة وكأنها نقطة عمياء منهجية في LLM-as-judge: كان الكاشف يفشل باستمرار في "ملاحظة" الهلوسة حيث علّمها المرجع. لو تأكد هذا، كان سيكون بمثابة ثغرة خطيرة في النهج المجمع — مما يعني أن جميع النماذج الستة تتشارك نفس النقطة العمياء.

«هذا البحث لا يتعلق كثيراً بالكاشف وليس عن النقطة العمياء المفترضة، بل

عن إجراء التحقق الذي انتهى به الحال بأن أمسك بنا نحن أنفسنا»، يكتب المؤلفون.

قام الباحثون بتشغيل إجراء التحقق الخاص بهم: قاموا يدوياً بمقارنة العلامات المتنازع عليها مع المصادر الأساسية. اتضح أن النتيجة معاكسة تماماً. احتوت غالبية الأمثلة "الإشكالية" على أخطاء في التعليق المرجعي — كانت الإجابات هناك صحيحة بالفعل، وقام المعلقون أو التعليق الآلي بتسميتها خطأً بالهلوسة. كان قضاة LLM محقين طوال الوقت.

ما يقوله هذا عن موثوقية المقاييس المعيارية

مشكلة الضوضاء في البيانات المعليقة (label noise) معروفة جيداً في التعلم الآلي، لكن عند تطبيقها على تقييم نماذج اللغة، تكتسب أهمية خاصة. يتم إنشاء مجموعات البيانات المرجعية للهلوسة من قبل البشر أو بشكل شبه آلي؛ الأخطاء فيها حتمية، وهي بالذات التي تشوه المقاييس النهائية.

كشفت الدراسة نمطاً متناقضاً: كلما زادت الاتساق الداخلي للكاشف، كلما عرّى أخطاء المقياس المعياري نفسه بشكل أوضح. اتضح أن الإجماع بالإجماع من ستة قضاة مستقلين إشارة أكثر موثوقية من تعليق واحد تم قبوله كحقيقة. هذا يطرح التساؤل حول الإجراء المعياري لتقييم أنظمة LLM.

بالنسبة للممارسين، الخلاصة مباشرة: قبل الادعاء بأن "نقطة عمياء" أو خطأ منهجي في النموذج قد تم العثور عليه، من الجدير التحقق من جودة المرجع نفسه. التحقق من التعليقات ليس خطوة اختيارية، بل جزء إلزامي من الإجراء البحثي.

ما يعنيه هذا

يذكرنا البحث بأن الثقة في "المعيار الذهبي" للتعليقات ليست مطلقة — حتى لو كانت مجموعة البيانات مستخدمة على نطاق واسع في الصناعة. بالنسبة للفرق التي تبني أنظمة تقييم LLM، هذه إشارة: تنفيذ إجراء للتحقق من المرجع، خاصة حيث يختلف عدة قضاة مستقلين بشكل ثابت معه. أحياناً يكون القضاة محقين، وليس التعليق.