Shan Yang يفكك مكاسب RL: 82% منها مصدرها القدرة على إنهاء الإجابة ضمن حدود الرموز

يرفع التعلّم المعزَّز بحسب النتيجة (outcome RL) قيمة pass@1 لدى نماذج الاستدلال، لكن pass@k لا ترتفع عند قيم k الكبيرة. هذا ما أظهره Yue وزملاؤه في عام 2025. أما Shan Yang فطرح سؤالًا يبقى عادةً خارج هذا الجدل: أي قيمة pass@1 تُحسب ضمن ميزانية رموز محدودة، ووصفات RL نفسها تُدرَّب في ظل القيد ذاته. فقارن 20 نموذج RL منشورًا، بأحجام من 1.5B إلى 32B، بنماذج thinking التي انطلقت منها، وذلك على مسائل في الفيزياء والرياضيات وبميزانيات ثابتة. خلاصته أن RL يعلّم النموذج في معظم الأحيان الوصول إلى الإجابة وفعل ذلك بثبات أكبر، ولا يفتح أمامه مهام جديدة إلا نادرًا.

ثلاثة مكوّنات لمكسب واحد

يقسّم المؤلف كل تغيّر في pass@1 إلى ثلاثة أجزاء:

• Finishing — أن ينجح النموذج في تقديم إجابته قبل أن تنفد ميزانية الرموز.
• Reliability — أن تكون الإجابة صحيحة حين يصل النموذج إلى نهايتها.
• Reach — المهام التي يحلّها نموذج RL بينما أخفق فيها النموذج الأساسي في جميع المحاولات الثماني، مطروحًا منها المهام التي يحلّها النموذج الأساسي بينما أخفق فيها نموذج RL في جميع المحاولات الثماني.

يجيب هذا التفكيك عن سؤال طبيعة المكسب: هل هو تغيّر في السلوك أم معرفة جديدة.

أين يساعد RL على إتمام الإجابة

حين يصطدم النموذج الأساسي كثيرًا بحدّ الرموز، يقع جلّ التغيّر، الموجب منه والسالب، ضمن finishing: 82% عند ميزانيتي 4k و8k. وإذا مُنح النموذج الأساسي رموزًا أكثر، فإنه يسدّ بنفسه معظم هذه الفجوة. فكثير من نماذج thinking تستدل استدلالًا طويلًا ولا تتمكن ببساطة من إخراج الإجابة النهائية داخل نافذة ضيقة. ويدرّبها RL على الالتزام بالميزانية نفسها التي دُرِّبت عليها.

أما إذا كانت الرموز كافية للنموذج الأساسي، فمصدر المكسب هو reliability. إذ ينال نموذج RL تقييمًا صحيحًا بوتيرة أعلى، حتى في المهام التي ينهيها النموذجان معًا. أي أن RL يحسّن مسار الحل نفسه، لا طول الإجابة فقط.

Reach: حلول جديدة نادرة وفحصها

بحسب تعريف المؤلف، نادرًا ما يحلّ RL ما يعجز عنه النموذج الأساسي. وفي أي من المجموعات الأربع للفيزياء والرياضيات، لا يضيف reach أكثر من 2.1 نقطة مئوية.

وفحص المؤلف حالات منفردة أيضًا. فقد أخذ 144 مسألة فيزيائية حلّها نموذج RL وحده، وأعاد أخذ عينات منها أو قرأ حلولها. لم يصمد أمام الفحص سوى 3.5%. أما بقية «الانتصارات» فتبيّن أنها مصادفة، أو استدلال خاطئ انتهى بإجابة مُخمَّنة. وفي فحص ثانٍ على عيّنة عشوائية من خطوات الاستدلال الجديدة التي أكّدها بشر، وُجدت تسع خطوات من كل عشر في عينات النموذج الأساسي أيضًا. فـ RL يميل إلى انتقاء ما كان النموذج الأساسي يعرفه أصلًا أكثر مما يبتكر جديدًا.

تجربة RL صغيرة على نموذج 8B

في تشغيل صغير لـ RL على نموذج 8B، تبيّن مرة أخرى أن المكسب على المهام الجديدة هو finishing، بينما لم تتغير reliability. وجرّب المؤلف كذلك تزويد كل مسألة بوصف لصياغتها الفيزيائية. لكن هذا الأسلوب لم يُظهر أي تحسّن مقارنةً بـ RL العادي.

ماذا يعني ذلك للممارسين

بالنسبة لمن يقارنون النماذج، يتعلق الاستنتاج الرئيسي بالمنهجية. فجدول pass@1 عند ميزانية صغيرة واحدة يخلط بين مهارة الحل والقدرة على الالتزام بالحد المسموح. ولذلك ينبغي فحص النتيجة عند عدة ميزانيات، ومعرفة حجم المكسب الذي يختفي حين يُمنح النموذج الأساسي رموزًا أكثر. وإلا فمن السهل أن يُحسب مكسب الاستدلال الأقصر نموًّا في القدرات.

أما بالنسبة لمن يدرّبون النماذج، فالصورة واقعية وبعيدة عن التفاؤل. فإذا كانت وصفة RL محصورة في حدّ صارم للرموز، فأنت تشتري أولًا اكتمال الإجابات، ثم الموثوقية لاحقًا. ولا ينجح توسيع حدود القدرات بهذه الطريقة حتى الآن. عندها يكون من المنطقي مقارنة RL ببدائل أقل كلفة: زيادة الميزانية وقت الاستدلال، أو التقطير. وتحتاج المعرفة الجديدة إلى مصادر إشارة أخرى، ويجدر فحصها بمرشِّحات صارمة مثل تلك التي طبّقها المؤلف على 144 مسألة، ولم يصمد منها سوى القليل.

ويمكن التحقق من النتائج بشكل مستقل. فالشيفرة ومجموعات الاختبار والبيانات على مستوى الصفوف متاحة على GitHub (shanyang-me/outcome-rl-buys)، ويمكن إعادة حساب الأرقام الأساسية في المقال من الصفوف المنشورة دون GPU. صفحة المشروع: shanyang.me/what-outcome-rl-buys.