عدم اليقين الميكانيكي في النماذج اللغوية الكبيرة: قياسه عبر متانة الآليات الداخلية السببية

مشكلة الهلوسة في التطبيقات الحساسة

تُستخدم النماذج اللغوية الكبيرة على نطاق واسع في أنظمة تكون فيها الأخطاء ذات تبعات جسيمة — من التشخيص الطبي إلى التحليل القانوني. والمشكلة الأساسية هي أن هذه النماذج تولّد إجابات تبدو مقنعة لكنها غير صحيحة (هلوسات). والأساليب التقليدية لتقييم عدم اليقين، القائمة على تحليل اللوغاريتمات واحتمالات المخرجات، لا تنجح غالبًا في معالجة هذا التحدي. ولذلك تلزم طريقة تعكس مباشرة موثوقية الآليات الداخلية للنموذج.

قدّم الباحثون Aneesh Komanduri وMajid Afshar وTimothy A. Miller وYanjun Gao مفهوم عدم اليقين الميكانيكي. ويصف هذا النهج عدم اليقين لا من خلال توزيعات المخرجات، بل من خلال استقرار الآليات الداخلية التي تدعم توليد الإجابة. فإذا كانت التمثيلات الداخلية متماسكة وقوية، يكون هامش المتانة واسعًا. وإذا كانت غير موثوقة، يكون الهامش ضيقًا.

هامش المتانة السببية والأدوات المستخدمة

المفهوم المحوري في هذه الدراسة هو هامش المتانة السببية (causal robustness margin)، وهو أصغر تدخل داخلي لازم لجعل النموذج يغيّر إجابته. وكلما كان الهامش أوسع، كان النموذج أكثر ثباتًا على خياره من منظور بنيته الداخلية.

وللتطبيق العملي، يستخدم الباحثون متجهات اتجاه المفاهيم Jacobian Lens (Jlens) — وهي أداة لتوجيه المفاهيم (concept steering) تتيح تعديل التنشيطات داخل المحوّل (transformer) بشكل موجّه. ويقيس الباحثون مقدار شدة التدخل الواجب تطبيقها على هذه المتجهات لحرف النموذج عن تنبؤه الحالي. وهذه الشدة هي تحديدًا هامش المتانة السببية.

النتائج التجريبية

شملت الدراسة 3 نماذج لغوية مفتوحة المصدر و5 مجموعات بيانات من نوع الأسئلة والأجوبة. والنتائج واضحة وقابلة للتكرار:

• تُظهر الإجابات الخاطئة هوامش متانة سببية أضيق بكثير من الإجابات الصحيحة • الإجابات التي يُصدرها النموذج بثقة منخفضة تُظهر حساسية متزايدة للتدخلات الداخلية • يعمل هامش المتانة السببية بشكل متعامد مع الأساليب التقليدية: فهو يكمّل المعلومات المستخلصة من توزيعات المخرجات لا يكررها

التحقق عبر حقن المعرفة

لإجراء فحص إضافي، نفّذ الباحثون تجربة مضبوطة لحقن المعرفة. دُرِّب النموذج على حقائق جديدة، وبعد التدريب أظهرت المعارف المستوعبة بشكل صحيح هوامش متانة سببية متزايدة. وهذه الملاحظة بالغة الأهمية، لأنها تؤكد أن هامش المتانة يستجيب لتعلّم حقيقي، لا لمجرد ظاهرة إحصائية عابرة.

الأهمية بالنسبة للتطوير والسلامة

يوفّر عدم اليقين الميكانيكي للمطورين أداة جديدة من نوعها. فبدل الاعتراف المجرد بأنه «لا نعرف متى يخطئ النموذج»، تتوفر طريقة لتحليل متانة التمثيلات الداخلية للنموذج مباشرة. وهذا ذو قيمة خاصة في التطبيقات عالية الخطورة، حيث لا يقتصر الأمر على تقدير احتمال، بل يمكن فهم مدى ثبات النموذج على خياره بشكل ميكانيكي، من خلال تحليل حساسية عملياته الداخلية للتدخلات.

ونُشر هذا العمل في أكتوبر 2026 (arXiv 2610.22636).