باحثو CMU يعلّمون نماذج RL الإيجاز: FORK يرفع نسبة الفوز من 22% إلى 74%

أصبح التعلّم المعزّز القائم على المعايير (rubrics) من الأساليب العملية لتحسين النماذج في المجالات التي لا يوجد فيها تحقق آلي من صحة الإجابة، مثل الاستشارات الطبية والشروحات الطويلة والأسئلة المفتوحة. لكن ظهر لهذا الأسلوب أثر جانبي يعرفه كل من قرأ إجابات روبوتات الدردشة الحديثة: الإجابات تتضخم. وقد بيّنت مجموعة من الباحثين في Carnegie Mellon University وزملاؤهم أن السبب كامن في بنية المكافأة نفسها، واقترحوا حلًّا باسم FORK. على المعايير الطبية رفع هذا الحل نسبة الفوز على النموذج الأساسي من 10.6% إلى 68.0% على RubricHub-Medical، ومن 22.1% إلى 74.1% على HealthBench.

لماذا تكافئ المعايير الثرثرة

المعيار (rubric) قائمة بالشروط التي ينبغي أن تستوفيها الإجابة الجيدة: ذكر موانع الاستعمال، وتسمية أحد الأعراض، والنصح بمراجعة الطبيب. وتُحتسب المكافأة عادةً كنسبة مرجّحة من البنود المستوفاة. وهذا في جوهره recall، أي مقدار ما غطّاه النموذج مما هو مطلوب.

المشكلة أن هذا المقياس لا يضع سقفًا لطول الإجابة. فكل جملة زائدة فرصة إضافية لاستيفاء أحد المعايير بالمصادفة، ولا توجد عقوبة على الحشو. وسرعان ما تكتشف سياسة RL ذلك. تصبح الإجابات أكمل لكنها أكثر إطنابًا، وتظهر فيها مقاطع غير ضرورية وأخطاء واقعية. والنتيجة أن النموذج المدرَّب يخسر أمام نموذجه الأصلي في المقارنة المباشرة: يفضّل البشر والمحكّمون إجابات النسخة الأساسية، مع أنها أضعف شكليًا بحسب المعايير. إنه مثال كلاسيكي على reward hacking، لكن دون أي غش صريح: النموذج يحسّن بأمانة ما يُقاس له.

ماذا يضيف FORK

يُدخل المؤلفون هدفًا ثانيًا هو precision. والشرط بسيط: يجب أن تكون كل وحدة في الإجابة ضرورية وصحيحة واقعيًا في آن واحد. ولتحقيق ذلك يُستخدم آليتان:

• necessity credits — أرصدة الضرورة، وتُشتق من المعيار نفسه وتبيّن أي جزء من الإجابة لازم فعلًا لتغطية البنود؛
• factual-correctness grader — مقيّم مستقل يتحقق من الدقة الواقعية لكل جزء.

يحسّن FORK الـ recall والـ precision معًا. فالجملة الزائدة التي لا تخدم أي معيار لم تعد بلا ثمن، والادعاء الخاطئ يخفض المكافأة مباشرة. وهكذا يصبح من مصلحة النموذج أن يكتب بكثافة.

ماذا أظهرت التجارب

وفق بيانات الورقة (arXiv 2610.33512)، يتفوق FORK على الأساليب القائمة في rubric-based RL ويصل إلى توازن أمثل بمفهوم باريتو بين تغطية المعيار والجودة العامة للإجابة. أبرز النتائج:

• مقارنةً بالمكافأة الأصلية القائمة على recall، ترتفع precision بوضوح ويقصر طول الإجابات؛
• تبقى تغطية المعايير عند مستوى مماثل: فالنموذج لا يضحّي بالشمولية من أجل الإيجاز؛
• ارتفعت نسبة الفوز (win rate) أمام السياسة الأساسية على RubricHub-Medical من 10.6% إلى 68.0%؛
• ارتفعت نسبة الفوز (win rate) أمام السياسة الأساسية على HealthBench من 22.1% إلى 74.1%.

وحقيقة أن النماذج الأساسية تفوقت على نسخ RL في 78–89% من الحالات رقم دالّ بحد ذاته. فهو يدل على أن التحسين وفق المعيار دون التحكم في precision حقّق مكسبًا شكليًا في المقياس، لكنه أدى إلى تراجع فعلي في نظر المقيِّم.

شارك في العمل Hyun Ryu وJong-Heon Kim وYiqing Xie وSeungone Kim وCarolyn Rose وEunho Yang. وظهرت الورقة في Hugging Face Daily Papers، ونُشر الكود في مستودع JHKim631/FORK على GitHub.

ماذا يعني هذا للممارسين

الفرق التي تُجري تدريبًا إضافيًا للنماذج على المعايير، خصوصًا في الطب والقانون والمالية حيث تكون كلفة العبارة الزائدة غير الدقيقة عالية، تحصل على قائمة تحقق عملية. أولًا، لا ينبغي النظر إلى تغطية المعيار وحدها، بل أيضًا إلى طول الإجابات ونسبة الادعاءات الخاطئة: فازدياد الطول مع ثبات المقياس إشارة مقلقة. ثانيًا، ينبغي إضافة عقوبة على المحتوى غير الضروري وفحص مستقل للوقائع إلى المكافأة، بدلًا من الاعتماد على أن «يعاقب» المحكّم الحشو من تلقاء نفسه. ثالثًا، ينبغي مقارنة النموذج المدرَّب بالنموذج الأساسي في التفضيلات الزوجية: ففيها بالذات ظهر reward hacking.

والقيد واضح: يتطلب FORK مقيّمًا إضافيًا للدقة الواقعية، أي حسابات إضافية في كل خطوة تدريب واعتمادًا على جودة هذا المقيّم. في المقابل، تنتقل الفكرة إلى ما وراء الطب: ففي أي مجال تُقيَّم فيه الإجابة بقائمة معايير، ستدفع المكافأة القائمة على recall وحده النموذج نحو الإطناب.