«Wait» في نماذج الاستدلال إرثٌ من البيانات لا اكتشافٌ من RL

أصبحت كلمة «wait» في سلاسل الاستدلال علامة مميزة لنماذج الاستدلال: يكتبها النموذج، ثم يتوقف ويعود إلى الخطوة السابقة. ويُعتقد عادةً أن هذا من ابتكار التعلم المعزز (reinforcement learning)، الذي اكتشف بنفسه عادة الشك المفيدة. غير أن ورقة بحثية جديدة على Hugging Face Daily Papers فحصت هذا الاعتقاد عبر تاريخ تدريب النماذج المفتوحة وخلصت إلى استنتاج مختلف. فعلى النماذج الأساسية التي لا تحتوي هذه الكلمة، يرفع RL دقة MATH-500 بشكل كبير، بينما تبقى «wait» شبه غائبة. فالعلامة تأتي مع البيانات.

كيف جرى البحث عن أصل كلمة واحدة

لم يحاول المؤلفون معرفة ما «قصده» النموذج. بل استعرضوا مسارات التدريب في النماذج المفتوحة، واحتسبوا مؤشرات على عينات من إجاباتها، دون أي ترميز يدوي. المؤشرات أربعة: تكرار الكلمة، وموضعها في سياق الاستدلال، وشكلها (كيف تُكتب وتُنسَّق بالضبط)، وطبيعة استخدامها. أما الأداة الخامسة فهي اختبار الخطأ المزروع: يُدسّ في الاستدلال خطوة خاطئة، ثم يُلاحَظ هل يستجيب النموذج لها بكلمة «wait». وبهذا يتضح هل تعمل العلامة كإشارة إنذار فعلية، أم أنها مجرد كلمة تُوضع في النص للمظهر.

والنتيجة في حالة zero-RL الخالص واضحة: فهو لا يولّد العلامة تقريبًا أبدًا. فإذا خلا النموذج الأساسي من الكلمة، يرفع RL نتيجة MATH-500 رغم ذلك، لكن «wait» لا تظهر. وهذا يعني أن الصلة بين الدقة وهذه الكلمة أضعف مما يُظن.

من أين تأتي الكلمة فعلًا

تظهر العلامة مع البيانات. ففي OLMo-3 يأتي بها mid-training. وفي معظم النماذج التي لا يستخدمها نموذجها الأساسي، تُرسّخ الكلمةَ مرحلةُ التدريب الإضافي على مسارات الاستدلال.

الحالات الأكثر إثارة هي تلك التي يجيد فيها النموذج الأساسي كتابة «wait» أصلًا. هنا تتباين الوصفات:

• كلتا وصفتَي RL-Zero المنشورتين (OLMo-3 وMiMo) تضاعفان تكرار الكلمة؛
• أما KL-free GRPO انطلاقًا من النموذج الأساسي نفسه فلا يفعل ذلك؛
• وصفة OLMo-3 تمحو شكل العلامة وتجعلها أكثر حساسية، لكنها تجعلها أيضًا إشارة إنذار «أكثر تساهلًا»: إذ تظهر بوتيرة أعلى، بما في ذلك حين لا يوجد خطأ حقيقي؛
• RL بعد supervised fine-tuning لا يكاد يغيّر العلامة؛
• وصفة GRPO التي طورها المؤلفون أنفسهم تزيل العلامة التي زرعها التدريب الإضافي.

والنقطة الأخيرة لافتة بوجه خاص. فصنف الخوارزميات نفسه قد يعزز الكلمة، أو يتركها كما هي، أو ينظّفها، بحسب الإعدادات. والسلوك تحدده الوصفة المحددة، لا مجرد استخدام RL.

فخاخ أمام من يقيس الاستدلال

يتعلق الاستنتاج العملي الرئيسي بالمقاييس. فتكرار «wait» وحده لا يدل على أن RL هو من شكّل الاستدلال. قد يعني ارتفاع العدّاد أن الكلمة موروثة من البيانات، أما انخفاضه فلا يعني أن النموذج لا يعرف إعادة النظر في قراراته. وعلى النماذج الأساسية التي تخلو من العلامة، حقق RL مكاسب دونها أصلًا.

أما التحذير الثاني فموجَّه لمحبي التقييم الآلي. إذ يدعو المؤلفون إلى مزيد من الحذر تجاه مقاييس إعادة النظر المحتسبة عبر LLM-as-a-judge: فقد تعكس الأحكام الآلية الاتجاهات التي رصدها المقيّمون البشر. وإذا كانت نسبة «التحقق الذاتي» في خط المعالجة لديكم تُحتسب بواسطة نموذج آخر، فقد تُظهر الأرقام عكس ما يراه الإنسان.

ما الذي ينبغي تغييره في ممارسات التدريب

يمكن لأي فريق يبني نموذج استدلال خاصًا به أن يستخلص من هذه الورقة عدة أمور.

• لا يجوز اعتبار ارتفاع تكرار «wait» في السجلات دليلًا على أن RL علّم النموذج الاستدلال. يجب أولًا معرفة هل كانت العلامة موجودة في النموذج الأساسي، أو في mid-training، أو في بيانات SFT.
• يجب مقارنة الوصفات على نموذج أساسي واحد. فالفارق بين RL-Zero في OLMo-3 وMiMo وبين KL-free GRPO يبيّن أن النتيجة تتوقف على التفاصيل.
• اختبار الخطأ المزروع أرخص وأوثق من عدّ الكلمات. فهو يتحقق من استجابة النموذج لخطأ حقيقي، لا من مجرد كتابته الكلمة المطلوبة.
• تحتاج أدوات التقييم الآلي لإعادة النظر إلى معايرة مقابل الترميز البشري على عينة، وإلا سهل الحصول على اتجاه بإشارة معكوسة.

وبالنسبة للصناعة، يمثل هذا تحولًا في النقاش حول أصل قدرات الاستدلال. فجزء من السلوك الذي كان يُنسب إلى RL تضعه البيانات في مراحل أبكر. وهذا مهم لمن يقررون أين يستثمرون الحوسبة: في جودة المسارات خلال mid-training وSFT، أم في حلقة RL نفسها.