معايرة النماذج اللغوية: ثلاث طرق لمواءمة الثقة مع الدقة

كثيرًا ما «تكذب» النماذج اللغوية بثقتها: تقول «أنا واثق بنسبة 90%» لكنها تخطئ في نصف الحالات. المعايرة مجموعة من التقنيات التي تسدّ هذه الفجوة دون تغيير أوزان النموذج. يستعرض هذا المقال ثلاثة من أكثر الأساليب اللاحقة للتدريب (post-hoc) انتشارًا.

لماذا يشكّل غياب المعايرة خطرًا؟

يعني النموذج المعاير جيدًا أنه إذا أسند إلى حدث «احتمال 70%»، فإن هذا الحدث يجب أن يقع فعليًا في نحو 70% من الحالات المماثلة. يبدو ذلك منطقيًا، لكن معظم نماذج LLM الحديثة تبالغ عمليًا في ثقتها، إذ تضخّم صحة إجاباتها بصورة منهجية، خصوصًا في السيناريوهات البعيدة عن بيانات التدريب.

المشكلة ليست نظرية. ففي المنتجات التي تُتخذ فيها القرارات استنادًا إلى احتمالات النموذج، مثل التشخيص الطبي والتصنيف الائتماني والخبرة القانونية وخوارزميات التداول، تقود الثقة الخاطئة مباشرة إلى قرارات خاطئة. يرى المستخدم «ثقة بنسبة 90%» فيصدّق إجابة لا تصح موضوعيًا إلا في 55% من الحالات.

ويمكن قياس هذا التباين بطريقتين. ECE (Expected Calibration Error) مقياس رقمي واحد يحسب متوسط الانحراف المطلق بين الاحتمالات المتوقعة والتكرارات الفعلية عبر نطاقات الاحتمال. أما مخطط الموثوقية (reliability diagram) فأداة بصرية: يمثّل المحور X الاحتمالات المتوقعة، ويمثّل المحور Y الدقة الفعلية. والمعايرة المثالية خط قطري مستقيم. الانحراف إلى الأسفل يعني الإفراط في الثقة، والانحراف إلى الأعلى يعني نقص الثقة.

ثلاث طرق للمعايرة اللاحقة للتدريب

تُطبَّق الطرق الثلاث جميعها بعد الانتهاء من تدريب الشبكة العصبية. فهي لا تغيّر الأوزان، بل تصحّح الاحتمالات الناتجة في مرحلة الاستدلال (inference) عبر تدريب إضافي صغير على بيانات التحقق. وهذا ما يجعلها عملية: لا يلزم الوصول إلى عملية تدريب النموذج، ولا حاجة إلى ترميز إضافي للبيانات.

• Platt Scaling: يدرّب انحدارًا لوجستيًا فوق اللوجيتات الخام للنموذج. سريع وبسيط ويحتاج إلى بيانات قليلة. يفترض أن التشوّه سيني الشكل، لذا يعمل جيدًا حين يبالغ النموذج في تقدير الثقة أو يقلّل منها بصورة منتظمة على كامل النطاق. نقطة ضعفه: يعالج الأنماط غير الخطية معالجة سيئة.
• Isotonic Regression: طريقة غير معلمية لا تفترض شكلًا محددًا للتشوّه. تبني دالة تحويل رتيبة (monotonic) بشكل اعتباطي، وتتعامل بصورة أفضل مع أنماط الإفراط المعقدة في الثقة وغير الخطية. تتطلب عددًا أكبر بكثير من أمثلة التحقق، وإلا فإنها تخاطر بالإفراط في التخصيص (overfitting).
• Temperature Scaling: الأكثر شعبية مع نماذج LLM. يقسم جميع اللوجيتات على ثابت واحد قابل للتعلّم T (درجة الحرارة). حين تكون T > 1 «تتشتّت» الاحتمالات ويصبح النموذج أقل حسمًا. وحين تكون T < 1 تزداد الثقة. معلمة واحدة تُحسَّن وفق NLL على بيانات التحقق. ويستغرق تنفيذها نحو عشرة أسطر من الشيفرة.

كيف تختار الطريقة المناسبة

Temperature Scaling هو الخيار الافتراضي لمعظم المهام المتعلقة بنماذج LLM. فهو يعمل مع الاحتمالات الناتجة فقط، ولا حاجة للوصول إلى الأوزان. ويكفي لضبط T بضع مئات من الأمثلة. ولا يعيد بناء شكل التوزيع، بل يغيّر مقياسه فحسب.

Isotonic Regression يستحق النظر حين يكون التشوّه غير خطي وتكون عينة التحقق كبيرة، أي من بضعة آلاف من الأمثلة فأكثر. وقد يلتقط أنماطًا معقدة لا يلتقطها Temperature Scaling. أما خطر الإفراط في التخصيص فيستلزم تقسيمًا دقيقًا للبيانات إلى train/val/test.

Platt Scaling يحتل موقعًا وسطًا: أكثر مرونة قليلًا من Temperature Scaling وأبسط من Isotonic Regression. ويكون منطقيًا حين لا تكفي البيانات لـ Isotonic لكن الحاجة تدعو إلى مرونة أكبر مما توفّره درجة الحرارة.

والقيد الرئيسي المشترك بين الطرق الثلاث: لا بد من مجموعة تحقق منفصلة لم تُستخدم عند تقييم النموذج. فالمعايرة على المجموعة نفسها خطأ يؤدي إلى الإفراط في تخصيص دالة المعايرة.

ماذا يعني ذلك

بالنسبة إلى الفرق التي تنقل نماذج LLM إلى بيئة الإنتاج (production)، تُعدّ المعايرة خطوة إلزامية قبل النشر في أي سيناريوهات عالية المخاطر. يتطلب Temperature Scaling أقل جهد ممكن، ويمكن أن يقلّص بصورة ملحوظة عدد التنبؤات الخاطئة التي تُعلن بثقة عالية، وذلك دون إعادة تدريب ودون الوصول إلى الأوزان ودون زيادة ملحوظة في زمن الاستجابة (latency). وهي من الحالات النادرة التي يؤثر فيها تحسين تقني صغير مباشرة في ثقة المستخدمين بالمنتج.