معيار CBE يكشف إخفاقات منطقية في 6 نماذج من GPT وQwen عند تغيير الصياغة

تقيس المعايير القياسية التقليدية قدرات النماذج اللغوية عبر نسبة الإجابات الصحيحة، مما يحجب هشاشة المنطق الداخلي. لذلك اقترح باحثون بروتوكول اختبار بديلاً يُعرف باسم Competence-Based Evaluation (CBE). تختبر هذه الطريقة ما إذا كان النموذج العصبي قادراً على الالتزام بالقاعدة المنطقية نفسها عند زيادة تعقيد المهمة وفق معايير محددة بدقة أو إعادة صياغتها بكلمات مختلفة. وأظهرت التجارب على 6 نماذج من سلسلتي GPT وQwen فشلاً بنيوياً: إذ تُظهر الأنظمة دقة مقبولة في نطاقات ضيقة من التعقيد، لكنها تنهار عند حدوث أدنى تغيير في السياق.

المولد المعلمي في مواجهة الاستدلالات السطحية

ترصد الاختبارات الكلاسيكية مثل GSM8k أو MMLU لمحة من المعرفة العامة أو حل أمثلة نمطية يمكن للنموذج فيها تخمين الإجابة بالاعتماد على الارتباطات الإحصائية. في المقابل، صمم مطورو CBE مولداً معلمياً لمهام الترتيب الأولية. تُثبّت بنية المعيار القاعدة الأساسية مع زيادة حجم مصفوفة البيانات المدخلة وتغيير الغلاف الدلالي للسؤال. فإذا كان النموذج يمتلك كفاءة منطقية حقيقية، فلن يؤثر تغيير الصياغة مع الحفاظ على بنية الإجابة في النتيجة، إلا أن منحنى الدقة يتراجع عملياً وبسرعة مع زيادة طول السلاسل.

نتائج الضبط والقيود البنيوية

كشفت الاختبارات حدود الطرق الحالية لتحسين الاستدلال؛ إذ أظهر الضبط الدقيق الخاضع للإشراف عبر LoRA نقلاً يقترب من الصفر نحو صياغات لم تظهر سابقاً، حيث تكتفي الطبقة التكيفية بملاءمة الأوزان مع البنية النحوية لبيانات التدريب. كما أسفرت التقنيات المتقدمة عن نتائج متباينة:

• تقلل تقنية Chain-of-thought نسبة الهلوسات العشوائية بشكل ملحوظ في القوائم متوسطة الطول، لكنها تصطدم بحدود سياقها الخاص.
• يوسع التعلم المعزز عبر GRPO (اختصاراً لـ Group Relative Policy Optimization) نطاق استقرار الاستدلال بدرجة أكبر مقارنة بـ RLHF القياسي.
• لم يتمكن أي نموذج من النماذج الـ 6 المختبرة من اجتياز معيار الكفاءة المستقرة عبر النطاق الكامل للتعقيد.
• بلغت الفجوة بين النتائج في المدخلات المتطابقة دلالياً والمختلفة نحوياً عشرات النقاط المئوية.

وصل قطاع الذكاء الاصطناعي إلى نقطة لم يعد فيها رفع معدلات الدقة في المعايير الثابتة يعكس الموثوقية الهندسية للأنظمة. فبالنسبة لسيناريوهات الشركات الحساسة — من التحقق من الأكواد البرمجية إلى التدقيق المالي — تظل إمكانية التنبؤ بالسلوك المنطقي في وجود مدخلات غير قياسية أمراً حاسماً. يكشف بروتوكول CBE للمطورين التوصيف الحقيقي لإخفاقات بنية محددة؛ وإلى أن تتعلم نماذج LLM تعميم القواعد بمعزل عن الشكل النصي للمهمة، سيظل بناء سلاسل الوكلاء المستقلين استناداً إليها متطلباً لرقابة خارجية مستمرة من أدوات التحقق.