Cohere تدرب نموذج 7B على تقييم ثقته مرتين: انخفاض خطأ المعايرة بنسبة 52,5%

نشرت Cohere طريقة CALIBER، التي تدرب نماذج التفكير المنطقي على تقييم احتمالات نجاحها مرتين: قبل البدء في التفكير، وبعد جهوزية الإجابة النهائية. وفي مقياس الرياضيات BigMathDigits، نجح نموذج بحجم 7B معلمات في خفض خطأ المعايرة المتوقع (ECE) من 0,059 لدى أقوى خط أساس ذي تقييم منفرد إلى 0,028، أي بنسبة انخفاض بلغت 52,5%. وقادت هذا البحث Beyza Ermis، عالمة الأبحاث في Cohere.

درجة واحدة تخفي سؤالين

قبل التفكير، لا يرى النموذج سوى نص المسألة. يمكنه تمييز الموضوع وتقدير ما إذا كانت المسألة في متناوله، حيث يجيب تقييم ثقته هنا عن سؤال: «ما مدى احتمالية قدرتي على التعامل مع هذا التحدي؟». ولكن بعد التفكير، يمتلك النموذج كياناً ملموساً للفحص والتدقيق، وهو حله الخاص، ليتغير السؤال حينها إلى: «ما مدى احتمالية أن تكون هذه الإجابة صحيحة؟».

وتطرح Cohere مثالاً لرمي نردين بحيث لا يقل المجموع عن 10. يبدأ النموذج بثقة نسبتها 25%، ثم يحلل الخيارات خطوة بخطوة (ثلاث طرق للحصول على 10، وطريقتان للرقم 11، وطريقة واحدة للرقم 12)، ليصل إلى 6 خيارات من أصل 36، أي 1/6، وينهي التقييم عند ثقة 88%. ويمكن أن يحدث المسار العكسي أيضاً: قد يبدو الحل بسيطاً في البداية، لكن يتبين افتراض خاطئ أثناء التسلسل فيتراجع مستوى الثقة. ولا تضمن نماذج التفكير القياسية هذه القدرة، إذ إن وجود سلسلة تفكير مفصلة لا يعني تلقائياً قدرة النموذج على الإفصاح عن شكه بنزاهة.

تختلف أهداف التدريب بين التقييمين؛ فلحساب الثقة الأولية، يحل النموذج المسألة نفسها عدة مرات، وإذا نجحت سبع محاولات من أصل عشر، يصبح الهدف 70%. أما بالنسبة للثقة النهائية، فيكون الهدف ثنائياً: هل إجابة المحاولة المحددة صحيحة أم لا؟ فإذا كانت ثلاث محاولات صحيحة من أصل أربع، فإن الهدف الأولي هو 75%، بينما المحاولة الفاشلة يكون هدفها النهائي 0. وتُضاف مكافآت المعايرة إلى مكافأة الإجابة الصحيحة؛ حيث يؤدي الاعتراف بالشك في الإجابة الخاطئة إلى تحسين مكافأة المعايرة، لكنه لا يمنح أي مكافأة على الحل نفسه.

ما أظهرته التجارب

تم تدريب نماذج بحجم 7B و30B معلماً على 30 000 مسألة رياضية واختبارها على 1000 مسألة مقتطعة، بالإضافة إلى استخدام ثلاثة معايير QA. قورنت جميع الطرق ضمن خطة التدريب ذاتها، ومثلت خطوط الأساس الموسومة بـ lite نسخاً مبسطة ومعدلة من مقاربات سابقة. وبالنسبة لـ CALIBER، احتُسبت المقاييس بناءً على الثقة النهائية.

• BigMathDigits لنموذج 7B: بلغ ECE نحو 0,028 مقابل 0,059 لأفضل خط أساس (−52,5%).
• حقق AUROC نحو 0,806 وBrier score نحو 0,130، وهي أفضل النتائج مقارنة بالبدائل.
• تعميم النتائج دون ضبط دقيق أو انتقاء نقاط تفتيش (checkpoints) مخصصة للمهمة: انخفض ECE بنسبة 26,8% على GPQA، و32,2% على TriviaQA، و36,2% على SimpleQA.
• BigMathDigits لنموذج 30B: بلغ ECE نحو 0,022 مقابل 0,023 لنموذج CoCA-lite، لكن AUROC وصل إلى 0,797 مقابل 0,508.

توضح نتيجة النموذج 30B سبب الحاجة إلى كلا المقياسين؛ فرغم أن CoCA-lite لا يختلف كثيراً من حيث ECE، إلا أن تقييم ثقته لا يكاد يميز بين الإجابات الصحيحة والخاطئة، إذ يقترب AUROC البالغ 0,508 من نتيجة رمي عملة نقدية عشوائية. النموذج الذي يجيب دائماً بـ «70%» عندما تكون دقته الإجمالية 70% يعد معايرًا بشكل مثالي، لكنه لا يقدم أي فائدة عملية لاختيار ما يجب مراجعته. وتوضح Cohere استدراكاً مفاده أن بعض خطوط الأساس الأخرى تحقق AUROC أعلى قليلاً من CALIBER، ولذا فإن التفوق يظل معتمداً على الخاصية المراد قياسها.

ودرس الباحثون كذلك كيفية تغير الثقة بعد التفكير. ففي BigMathDigits للنموذج 7B، ارتفع متوسط التقييم للإجابات الصحيحة من 78,5% إلى 83,5%، وتراجع للإجابات الخاطئة من 62,6% إلى 54,5%. وفي مجموعات بيانات أخرى، انخفضت الثقة أحياناً في المجموعتين، إلا أن التراجع كان أكثر حدة لدى الإجابات غير الصحيحة. ولا يعد الارتفاع أو الهبوط حكماً قطعياً بحد ذاته؛ فإجابتان تنتهيان بنسبة 70% تعبران عن نفس الاحتمالية، حتى لو جاءت إحداهما عبر مسار تصاعدي والأخرى عبر مسار تنازلي.

مجالات الاستفادة وما لم يتم اختباره بعد

تكمن القيمة العملية لفرق المنتجات في التوجيه الذكي (routing). إذ يمكن لثقة أولية منخفضة أن تكون إشارة لإحالة المسألة إلى نموذج أقوى أو إلى مراجع بشري حتى قبل استهلاك التوكنز في عملية التفكير. وتساعد الثقة النهائية المنخفضة في تحديد أي الإجابات ينبغي إرسالها للتدقيق اليدوي عندما لا يتسع الوقت إلا لفحص نماذج معدودة من بين مئة إجابة؛ وهنا تحديداً يتفوق مقياس AUROC في الأهمية على أرقام ECE الجذابة.

لكن ثمة قيوداً يجب أخذها في الحسبان. تقيس التجارب الثقة قبل تمريرة تفكير واحدة وبعدها مباشرة، ولم تختبر Cohere استخدام تحديثات الثقة لاتخاذ قرارات مثل «المراجعة»، أو «البحث عن معلومات إضافية»، أو «الامتناع عن الإجابة». كما ركز التدريب بصورة أساسية على الرياضيات، ولم يُثبت نقل الأثر إلى QA إلا على نموذج 7B ومن حيث ECE فقط. وقبل دمج هذه التقييمات في مسارات الأنظمة المعتمدة على الوكلاء (agentic pipelines)، يتعين اختبارها على البيانات الخاصة والتحقق من معايرتها وفق توزيع المهام المستهدف.