Mycelium: باحثان يصنّفان معايير قياس الهلوسة وفق ثلاثة محاور

جرت العادة على مقارنة أجهزة كشف هلوسات LLM برقم واحد على معيار واحد. وفي دراسة Mycelium التحليلية (arXiv 2610.33608، نُشرت في 24 أكتوبر 2026) تبيّن Julia Belikova وElisei Rykov أن هذا الرقم يقول أقل مما يبدو. فالمعايير تعرّف الهلوسة تعريفات مختلفة، وتحصل على نصوص النماذج بطرق مختلفة، وتضع وسوم الأخطاء على مستويات مختلفة. ويقترح المؤلفان النظر إلى الكشف بوصفه مهمة قياس تتوقف على شروط المعيار، ويقدّمان مقياساً جديداً هو Span Coverage F1.

مصطلح واحد ومهام متعددة

تكتسب الهلوسات أهمية في تقييم النماذج اللغوية الكبيرة ونشرها، إذ تتوقف على مدى موثوقية رصدها أنظمة RAG والمساعدات الذكية وخطوط المعالجة في المؤسسات. وعادةً ما تأتي أجهزة الكشف الجديدة مع جدول نتائج على عدة مجموعات بيانات. لكن إذا كانت إحدى المجموعات تضع وسوماً للأخطاء الواقعية دون سياق، بينما تتحقق أخرى من أمانة الإجابة للمصدر المقدَّم، فنحن أمام مهمتين مختلفتين تحملان اسماً واحداً. والنتيجة العالية في الأولى لا تكاد تضمن شيئاً في الثانية.

يحلّل Mycelium كيف تشكّل الخيارات المتخذة عند بناء المعيار ووسمه وتقييمه مهمة التنبؤ النهائية. ثم يقارن المؤلفان آليات أجهزة الكشف نفسها وافتراضاتها بالشروط التي قيست فيها.

ثلاثة محاور لتصنيف المعايير

يصنّف المؤلفان جميع المعايير القائمة وفق ثلاثة أبعاد:

• Provenance (المصدر): كيف جرى الحصول على مخرجات النموذج وما شروط الأدلة، أي من أين جاءت النصوص وإلى أي شواهد يستند التحقق.
• Typology (التصنيف النوعي): أي إخفاقات في الواقعية (factuality) والأمانة للمصدر (faithfulness) تنعكس في وسوم المعيار.
• Granularity (الدقة): على أي مستوى توسم الهلوسات وتُتوقَّع وتُقيَّم. وقد يكون ذلك الإجابة كاملة، أو جملة، أو مقطعاً منفرداً من النص.

وتغيّر النقاط المختلفة على هذه المحاور صياغة المهمة نفسها. ولذلك يرى المؤلفان أن المقارنات بين المعايير لها حدود، وأن تعميم أداء جهاز الكشف على شروط أخرى ينبغي تقييمه صراحةً لا افتراضه.

Span Coverage F1: عندما تحسم حدود الوسم النتيجة

يخصص قسم مستقل للتقييم على مستوى المقاطع (spans)، أي أجزاء النص الموسومة بأنها هلوسة. وهنا تعتمد النتيجة اعتماداً كبيراً على المكان الذي رسم فيه الموسِّم الحدود. فأحد المعايير يضع وسماً على عبارة اسمية قصيرة، وآخر على الجملة بأكملها. وجهاز الكشف الذي عثر على الخطأ نفسه سيحصل على درجات مختلفة بحسب مدى تطابق الحدود.

ويقترح المؤلفان Span Coverage F1 مكمّلاً للمقاييس القائمة. ويقوم على الاحتواء (containment): فهو يراعي ما إذا كان المقطع المتنبَّأ به يغطي المقطع الموسوم، لا درجة التطابق الدقيق فحسب. وقد صُمم المقياس ليكون مكمّلاً ولا يحل محل المؤشرات المعتادة، بل يساعد على الفصل بين جودة الكشف الفعلية وآثار الوسم الاصطناعية.

كيف تقرأ نتائج أجهزة الكشف

خلاصة عملية للفرق التي تختار أجهزة الكشف أو تدرّبها:

• قبل مقارنة نتيجتين، تحقق مما إذا كان المعياران متطابقين في مصدر البيانات وأنواع الأخطاء ومستوى الوسم. وإذا لم يتطابقا، فالرقمان يقيسان شيئين مختلفين.
• في بيئة الإنتاج، اختر المعيار الأقرب إلى سيناريو عملك. فالأمانة للمصدر مهمة في RAG، أما في الأسئلة المفتوحة فالمهم هو الواقعية دون سياق.
• إذا كان جهاز الكشف يعمل على مستوى المقاطع، فانظر كيف عُرِّفت الحدود في الوسم، وأضف مقياساً قائماً على الاحتواء مثل Span Coverage F1.
• تحقق من التعميم: شغّل جهاز الكشف على معايير ذات شروط مختلفة، وأبلغ عن مدى التفاوت بدلاً من رقم وحيد.

تتوافر شيفرة الدراسة ومواردها في مستودع lmeribal/mycelium على GitHub. ويدعو المؤلفان إلى تقديم الملاحظات والنقاش، فقد صُمم العمل ليكون أساساً لمقارنات أكثر إنصافاً في مجال كثيراً ما يزن فيه الرقم في الجدول أكثر من السياق الذي أُنتج فيه.