باحثو معهد ماساتشوستس للتكنولوجيا يعلمون الذكاء الاصطناعي أن يقول بصراحة "أنا غير متأكد" وأن يهلوس أقل

اقترح باحثون من معهد ماساتشوستس للتكنولوجيا (MIT) طريقة لجعل نماذج اللغة أكثر صراحة وصدقاً في استجاباتها: لا تقتصر على حل المهمة فقط، بل تقييم درجة الثقة في الاستنتاج في نفس الوقت. قد يبدو هذا كتعديل طفيف، لكنه في الممارسة يعالج إحدى أكثر المشاكل إحباطاً في نماذج التفكير الحديثة — عادة التحدث بنبرة واثقة حتى عندما تكون الإجابة في الأساس مجرد تخمين. لا تقلل المنهجية الجديدة من جودة الإجابات ذاتها؛ بل تساعد النموذج على التمييز بشكل أفضل بين الحالات التي يعرفها فعلاً والحالات التي يجب أن يعترف فيها بعدم اليقين.

يصيغ فريق MIT CSAIL المشكلة بشكل مباشر جداً: النماذج القوية اليوم غالباً ما تتصرف مثل أعلى شخص صوتاً في الغرفة. تجيب بنفس درجة الثقة سواء نجحت المنطق أم خمنت النموذج. وفقاً للباحثين، السبب يكمن في مخطط التعلم بالتعزيز المستخدم حالياً لتطوير قدرات التفكير.

في المتغير النموذجي، يحصل النموذج على مكافأة للإجابة الصحيحة وعقوبة للإجابة الخاطئة. لا توجد حالات وسيطة تقريباً. إذا وصل النموذج عشوائياً إلى نتيجة صحيحة، يتم مكافأته بنفس الطريقة كما لو كان قد اشتق الحل بعناية.

بمرور الوقت، يدفع هذا النظام للإجابة دائماً، دون ترك مجال لعبارة «لست متأكداً». هذا بالضبط ما حاول MIT تصحيحه في منهج RLCR — التعلم بالتعزيز مع مكافآت المعايرة. بدلاً من التقييم الثنائي البحت، أضاف الباحثون مكوناً آخر إلى دالة المكافآت: درجة بريير، وهي مقياس يقارن الثقة المعلنة مع الدقة الفعلية.

عملياً، بعد سلسلة من التفكير، ينتج النموذج ليس فقط إجابة، بل أيضاً تقييماً رقمياً لثقته الخاصة. إذا كان مفرطاً في الثقة وأخطأ، يعاقب على ذلك. إذا أعطى إجابة صحيحة لكنه قلل من الثقة بدون سبب، يؤخذ هذا أيضاً في الحسبان.

يؤكد المؤلفون أن هذا المخطط يؤدي رسمياً إلى هدفين في نفس الوقت: دقة عالية ومعايرة جيدة — أي التطابق بين ما يقوله النموذج عن ثقته وعدد مرات أنه يكون محقاً فعلاً. أجريت التجارب على نموذج بـ 7 مليارات معامل. وفقاً لـ MIT، قلل RLCR خطأ المعايرة بنسبة تصل إلى 90 في المائة مقارنة بالتعلم بالتعزيز القياسي، بينما لم تنخفض الدقة وحتى زادت في بعض الاختبارات.

استمر التأثير ليس فقط على المهام التي تم تدريب النموذج عليها، بل أيضاً على مجموعات بيانات جديدة، بما في ذلك ست مجموعات بيانات لم يرها من قبل. قارن الباحثون بشكل منفصل الطريقة بنهج ما بعد المعالجة، حيث يتم تقييم الثقة بعد التدريب من خلال مصنف خارجي. أثبت RLCR تفوقه هنا أيضاً: بدلاً من كونه مكملاً سطحياً لنموذج مكتمل، يغير سلوك النظام أثناء التدريب نفسه.

علاوة على ذلك، يوضح فريق MIT أن التعلم بالتعزيز القياسي لا يحسن المعايرة فقط بل غالباً ما يجعلها أسوأ: يصبح النموذج أكثر قدرة لكن في نفس الوقت أكثر ثقة زائدة. هناك قيمة عملية لهذا أيضاً. إذا أنتج النموذج عدة خيارات إجابة، يمكنك اختيار الخيار الذي يبلغ فيه عن أعلى ثقة، أو ترجيح أصوات المرشحين مع الأخذ في الاعتبار هذا التقييم.

وفقاً للمؤلفين، يحسن هذا من الدقة والمعايرة مع زيادة الموارد الحسابية للاستدلال. نتيجة مثيرة للاهتمام أخرى: عندما درب الباحثون مصنفات منفصلة على مخرجات النموذج، قدم التفكير الصريح حول عدم اليقين الخاص به إشارة إضافية مفيدة، خاصة للنماذج الأصغر. بعبارة أخرى، محاولة النموذج التعبير عما يعرفه وما لا يعرفه تبين أنها ليست عنصراً زخرفياً، بل جزء جوهري من التنبؤ.

ماذا يعني هذا عملياً؟ إذا تم توسيع منهج RLCR إلى نماذج تجارية أكبر، تحصل الصناعة على فرصة تقليل ليس فقط عدد الأخطاء الصريحة، بل أيضاً عدد الأخطاء الخطيرة المخفية بنبرة واثقة. بالنسبة لمجالات مثل الطب والقانون والمالية وتحليل الشركات، هذا مهم بشكل خاص: يحتاج المستخدمون ليس فقط إلى الحصول على إجابة، بل إلى فهم مدى موثوقيتها. يقدم عمل MIT ليس مرشحاً آخر فوق نموذج مدرب بالفعل، بل فكرة أكثر أساسية: تعليم الذكاء الاصطناعي ليس فقط إيجاد الحلول، بل قياس حدود معارفه الخاصة بصدق.

هذه العادة بالذات قد تثبت أنها أحد أكثر التحديثات مفيدة لجيل التالي من أنظمة التفكير.