S3AC تعيد الناقد إلى RL لنماذج LLM: مكاسب من 1.5B إلى 397B معامل

اقترح باحثون من Shanghai AI Laboratory الطريقة S3AC (Stabilized, Selective, and Scalable Actor-Critic)، وهي وصفة عملية لتدريب ناقد القيمة (value critic) في RL بمكافآت قابلة للتحقق على سلاسل استدلال طويلة. اختُبرت الطريقة على نماذج dense وMoE من 1.5B إلى 397B معامل، وتفوّقت على نسخة حديثة من GRPO تحمل اسم GRPO-X. وعلى نموذج 35B حافظت S3AC على التدريب بـ rollout واحد لكل prompt، بينما بدأت خطوط الأساس الخالية من الناقد بالتراجع بعد التحسينات الأولى.

لماذا هجرت الصناعة الناقد

يُعدّ الناقد في RLVR لسلاسل CoT الطويلة منذ وقت طويل مكوّنًا مكلفًا وصعب الإرضاء. فهو يحتاج إلى تدريب منفصل، ويستهلك الذاكرة والحوسبة، ويتصرف بشكل غير مستقر على المسارات الطويلة. لذلك يعتمد معظم الفرق طرقًا خالية من الناقد مثل GRPO: تولّد لكل prompt مجموعة من الإجابات، وتحسب خط الأساس من متوسط نتيجة المجموعة.

ولهذا النهج نقطتا ضعف معروفتان. الأولى غياب توزيع الفضل (credit assignment) على مستوى الرموز. فالمسار كله يحصل على تقييم واحد، مع أن الخطأ ربما وقع في بضع خطوات محددة من الاستدلال. والثانية الحاجة إلى توليد مجموعات من rollout لمجرد الحصول على خط أساس للـ prompt. وهذا مكلف، وفي المهام السهلة جدًا أو العصيّة جدًا يضيع جزء من التوليدات هدرًا.

يعالج الناقد المشكلتين معًا: فهو يقدّم المزايا (advantages) على مستوى الرموز، ويوفّر خط أساس لكل prompt. ويشرح مؤلفو S3AC لماذا لم ينجح الناقد في سلاسل CoT الطويلة. أولًا، المسارات ذات الأطوال المختلفة ممثَّلة بشكل ضعيف في بيانات تدريب الناقد. ثانيًا، في بداية التدريب تهيمن على التدرجات value head حديثة التهيئة، فتزعزع استقرار بقية الشبكة.

وصفة S3AC واختيار الـ prompts قبل التوليد

الإسهام الرئيسي في العمل هو مجموعة من الأساليب التي تجعل تدريب الناقد مستقرًا في الاستدلال الطويل. ويوفّر الناقد المدرَّب الإشارتين المطلوبتين: مزايا خاصة بكل رمز، وخطوط أساس خاصة بكل prompt.

الفكرة الثانية هي Difficulty-Aware Prompt Sampling (DAPS). يُظهر خط أساس الناقد مدى صعوبة الـ prompt على النموذج في اللحظة الراهنة. ويجمع DAPS هذا التقدير مع سجل النتائج السابقة لكل prompt، ثم يحدد المهام التي تستحق الإرسال إلى التوليد. يجري الاختيار قبل الـ rollout، فلا تُهدر توليدات زائدة. ولا حاجة إلى تهيئة الصعوبة خارج الاتصال: ليس مطلوبًا تمرير مجموعة البيانات عبر النموذج مسبقًا ووسمها بحسب الصعوبة.

• الطريقة: S3AC، actor-critic لاستدلال LLM بمكافآت قابلة للتحقق
• ما يقدمه الناقد: مزايا خاصة بكل رمز وخطوط أساس خاصة بكل prompt
• انتقاء البيانات: DAPS، اختيار الـ prompts بحسب تقدير الصعوبة وسجل النتائج قبل التوليد
• نطاق النماذج: dense وmixture-of-experts، من 1.5B إلى 397B معامل
• خط الأساس للمقارنة: GRPO-X، نسخة حديثة من GRPO
• وضع الـ rollout الواحد: على 35B تواصل S3AC التعلّم، بينما تتراجع طرق critic-free المختبَرة بعد التحسينات الأولى
• الفريق: Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang
• الشيفرة: مستودع InternLM/xtuner على GitHub
• النشر: arXiv 2610.35518، Hugging Face Daily Papers

أبرز النتائج هو وضع الـ rollout الواحد. فالطرق القائمة على المجموعات تفقد خط الأساس حين تغيب المجموعة، وعلى 35B يتراجع تدريبها بعد المكسب الأولي. أما الناقد فيقدّر خط الأساس بنفسه، ولذلك لا ينخفض الأداء. وما دامت الطريقة تتوسع حتى 397B، فالحديث ليس عن لعبة مخبرية.

لمن وفي أي حال تستحق S3AC النظر

تصطدم الفرق التي تواصل تدريب نماذج الاستدلال عبر RLVR بكلفة الـ rollout. واختيار الـ prompts بحسب صعوبتها قبل التوليد يوفّر هذا البند تحديدًا من النفقات. فإذا كانت مجموعة إجابات مهمة ما تعطي نتيجة متطابقة حتمًا، فهي لا تحمل إلا إشارة تعلّم ضئيلة. ويحاول DAPS ألا تُهدر الحوسبة على مثل هذه المهام.

الميزة العملية الثانية هي الثبات مع عدد قليل من الـ rollout لكل prompt. وهذا مفيد حيث يكون توليد السلاسل الطويلة باهظ الكلفة، كما في نماذج MoE الكبيرة. والتنفيذ متاح في xtuner، لذلك يمكن اختبار الطريقة على مهام خاصة دون كتابة خط معالجة (pipeline) من الصفر.

والقيود واضحة أيضًا: يبقى الناقد مكوّنًا إضافيًا، والتفوق على GRPO-X مثبت على مجموعة النماذج والتهيئات التي اختبرها المؤلفون. وستُظهر إعادة الإنتاج المستقلة إلى أي حد تنتقل الوصفة إلى مجالات مكافآت أخرى وعائلات نماذج أخرى.