علماء يقيّمون عدم يقين نماذج LLM عبر متانة آلياتها الداخلية على 3 نماذج

اقترح فريق من الباحثين قياس عدم اليقين في النموذج اللغوي الكبير لا بما يُخرجه النموذج في النهاية، بل بمدى رسوخ الإجابة في داخله. وقد اختُبرت الطريقة على ثلاثة نماذج مفتوحة وخمس مجموعات بيانات للأسئلة والأجوبة. وتبيّن في هذه الاختبارات أن الإجابات الخاطئة وغير المؤكدة «هشّة»: فلكي تتغير، كان يكفي تدخل داخلي أصغر مما تتطلبه الإجابات الصحيحة.

نُشرت الورقة في Hugging Face Daily Papers. ويقدّم المؤلفون مفهوم mechanistic uncertainty، أي عدم اليقين الآلياتي.

كيف يعمل المقياس

تعتمد الطرق المعتادة لتقدير ثقة LLM على المخرجات: احتمالات الرموز (tokens)، والإنتروبيا، ومدى اتساق عدة إجابات مولَّدة. وكلها تبيّن كيف يجيب النموذج، لكنها لا تكشف على ماذا تستند هذه الإجابة.

يسلك المؤلفون اتجاهًا مختلفًا، فيعرّفون causal robustness margin، أي هامش المتانة السببي. وهو أصغر قدر من التدخل الداخلي تتغير عنده إجابة النموذج. فإذا كان كسر الإجابة سهلًا، فالآلية التي تدعمها ضعيفة. وإذا تطلّب ذلك تأثيرًا قويًا، فالإجابة متينة.

عمليًا، يُنفَّذ التدخل عبر متجهات التوجيه المفاهيمية (steering vectors) المبنية بواسطة Jacobian Lens، واختصارًا Jlens. وفكرة steering vectors أن تُزاح تنشيطات النموذج على امتداد اتجاه محدد، ثم يُرصد كيف يتغير سلوكه. ويُحتسب الهامش بوصفه «كلفة» هذه الإزاحة. ولم يكشف الملخص عن تفاصيل بناء المتجهات؛ ويجب الرجوع إلى الورقة نفسها لمعرفتها.

ماذا أظهرت التجارب

يصف الملخص مجموعة الاختبارات على النحو التالي:

• النماذج: ثلاثة نماذج LLM مفتوحة؛
• البيانات: خمس مجموعات بيانات للأسئلة والأجوبة؛
• النتيجة الرئيسية: الهامش أصغر في الإجابات الخاطئة وغير المؤكدة، أي أنها أكثر حساسية للتدخلات الداخلية؛
• التكامل: يكمّل causal robustness margin الطرق التقليدية لتقدير عدم اليقين المعتمدة على مخرجات النموذج، ولا يحل محلها؛
• التجربة المضبوطة: بعد التدريب على حقائق أُدخلت عمدًا، يزداد الهامش للمعارف التي استُوعبت بشكل صحيح.

ولعل البند الأخير هو الأكثر إثارة للاهتمام. فقد درّب المؤلفون النموذج عمدًا على حقائق جديدة، ثم راقبوا كيف يتغير المقياس. وعندما تُستوعب الحقيقة على نحو صحيح، يصبح السند الداخلي للإجابة أمتن، ويرصد الهامش ذلك. وبهذا يخضع المقياس لاختبار سببي، لا لمجرد ارتباط بصحة الإجابات في مجموعات بيانات جاهزة.

ولا يتضمن الملخص قيمًا محددة لمقياس AUROC أو غيره من مقاييس الجودة، ولا أسماء النماذج أو مجموعات البيانات. ولذلك لا يمكن، استنادًا إلى هذه المعطيات، تقدير مدى تحسين الهامش لاكتشاف الأخطاء مقارنة بالطرق الأساسية.

أين قد يفيد ذلك

لا تزال الهلوسات العقبة الرئيسية أمام LLM في الطب والقانون والتمويل. ففي هذه المجالات لا تكفي الإجابة وحدها، بل يلزم مؤشر على مدى إمكانية الوثوق بها. وكثيرًا ما تكون تقديرات الثقة المستخرجة من المخرجات مضللة: فقد يخطئ النموذج بثقة. أما الإشارة الداخلية فتوفر قناة ثانية مستقلة للتحقق.

وتتبع من ذلك ثلاث خلاصات للمطورين:

• يمكن اعتبار المقياس طبقة إضافية فوق مقدّرات الثقة الحالية، لا بديلًا عنها.
• تتطلب الطريقة الوصول إلى التنشيطات الداخلية. فهي قابلة للتطبيق على النماذج المفتوحة، وغير متاحة للواجهات البرمجية (API) المغلقة التي تعيد النص فقط.
• التدخل في التنشيطات يستهلك موارد حوسبة. ومدى كلفة حساب الهامش لكل طلب غير واضح من الملخص، وهذا سؤال محوري للإنتاج.

هذا عمل بحثي. فقد أُخذت النتائج على ثلاثة نماذج مفتوحة وخمس مهام QA، وما زال انتقالها إلى التوليد الطويل والنماذج الاستدلالية وسيناريوهات الوكلاء بحاجة إلى اختبار. لكن الاتجاه واضح: تقييم موثوقية الإجابة عبر البنية السببية للنموذج، لا عبر إحصاءات المخرجات وحدها.