باحثون يقترحون CBE: ست نماذج من GPT وQwen تخفق في اختبار الكفاءة

يقترح مؤلفو ورقة بحثية أولية رصدتها Hugging Face Daily Papers إعادة النظر في طريقة قياس التفكير المنطقي في النماذج اللغوية الكبيرة. فبدلًا من رقم دقة واحد على مجموعة مهام مختارة، يقدّمون التقييم القائم على الكفاءة (competence-based evaluation، أو CBE): لا تُعدّ النموذج كفؤًا إلا إذا طبّق المهارة نفسها بثبات على عائلة المهام كلها. وأعطى الاختبار على ست نماذج من GPT وQwen نتيجة لا لبس فيها. ففي نطاقات التعقيد المحدودة تبدو الجودة جيدة إلى حد كبير، لكن حتى النموذج القوي لا يستوفي شرط الكفاءة.

ما المشكلة في المعايير المعتادة؟

يعطي المعيار القياسي نسبة مئوية واحدة للإجابات الصحيحة. ويرى المؤلفون أن هذا الرقم لا يقول شيئًا يُذكر عن القدرة على التعميم. فقد يحلّ النموذج مسألة بثقة حين تُعرض بصياغتها المألوفة، ثم يخطئ إذا قُدّم المنطق نفسه بصورة مختلفة. وثمة مشكلة أخرى: المعيار يثبّت المهام التي اختيرت له. فإذا وقعت في المنطقة التي يتفوق فيها النموذج، بدا الرقم النهائي مقنعًا، مع أن الجودة خارج هذه المنطقة مختلفة.

كيف يعمل CBE؟

يقوم النهج على آليتين. الأولى مولّد مُعَلْمَر (parameterized generator) يرفع مستوى التعقيد مع إبقاء الكفاءة المطلوبة نفسها. والثانية مجموعات من التمثيلات المتكافئة التي تحفظ الإجابة: تُكتب المهمة نفسها بطرق مختلفة، وتبقى النتيجة الصحيحة كما هي. ولا يجتاز النموذج الاختبار إلا إذا نجح عبر الشبكة كلها من الأحجام والصياغات، لا في نقطة واحدة.

بنى المؤلفون المثال العملي الأول على مهام ترتيب أولية. يزداد حجم المدخلات، وتُعرض قاعدة الترتيب بأشكال مختلفة. والمهمة بسيطة عن قصد: إذا لم يصمد النموذج أمام التنويعات هنا، فمن الأصعب توقّع موثوقيته في الاستدلال المعقّد.

• ما الذي اختُبر: ست نماذج من عائلتي GPT وQwen.
• المهمة: ترتيب أولي مع ازدياد حجم المدخلات.
• التنويعات: صياغات مختلفة للقاعدة الواحدة مع بقاء الإجابة الصحيحة نفسها.
• النتيجة: جودة مقبولة في نطاقات التعقيد المحدودة، لكن لم يستوفِ أيٌّ من النماذج شرط الكفاءة، بما فيها القوية.
• Chain-of-thought وGRPO: يوسّعان منطقة الأداء القوي، لكنهما لا يزيلان جميع حالات الإخفاق المرصودة.
• Supervised LoRA: انتقال ضعيف إلى البيانات المحجوزة.

ماذا أظهرت أساليب التحسين؟

اختبر المؤلفون أيضًا الأساليب التي تُستخدم عادة لعلاج ضعف الاستدلال. فـ Chain-of-thought والتعلم المعزَّز GRPO يدفعان إلى الأمام الحدّ الذي يبدأ النموذج عنده بالخطأ، لكنهما لا يسدّان جميع الثغرات المكتشفة. وكان أداء Supervised LoRA أضعف: فالانتقال إلى البيانات المحجوزة ضئيل. وهذا يتسق مع ملاحظة شائعة، وهي أن الضبط الدقيق الخاضع للإشراف على توزيع ضيّق يؤدي بسهولة إلى حفظ الأنماط بدلًا من إتقان القاعدة. غير أن هذا تفسيرنا نحن، وليس استنتاجًا وارد في الملخص.

كيف نستفيد من هذه الأفكار عمليًا؟

على الفرق التي تختار نموذجًا لمهام تعتمد على المنطق أن تضيف إلى المعايير القياسية اختبارات مُعَلْمَرة خاصة بها. تأخذ القاعدة المهمة لمنتجك، وتولّد مهام متزايدة الحجم، وتكتب كل مهمة بعدة صياغات. ثم لا تنظر إلى المتوسط، بل إلى النقطة التي ينكسر عندها منحنى الدقة تحديدًا. وينبغي تقييم نتائج الضبط الدقيق بالطريقة نفسها: فإذا ارتفعت الجودة بعد LoRA على الصيغ المألوفة فقط، فقد حسّنتَ المقياس، لا الاستدلال.

وثمة تحفظات. فالترتيب فئة ضيقة من المهام، ولا ترد في الملخص نسب مئوية محددة، لذا يجب الرجوع إلى النص الكامل لمعرفة حجم الإخفاقات. لكن المؤلفين يصفون البروتوكول نفسه بأنه قابل للتوسيع: إذ يمكن نقله إلى أنواع أخرى من المنطق وتطبيقه على نماذج جديدة.