GRPO وRLVR: لماذا قد يقود ورثة DeepSeek-R1 إلى طريق مسدود

اجتاحت عالمَ الذكاء الاصطناعي حمّى DeepSeek-R1. ويبدو أن كل شركة ناشئة ثانية، في وادي السيليكون وخارجه، تحاول اليوم إعادة إنتاج «سحر» المطوّرين الصينيين. وفي قلب هذه الضجة اختصاران: GRPO (Group Relative Policy Optimization — التحسين النسبي الجماعي للسياسة) وRLVR (Reinforcement Learning from Verifiable Rewards — التعلّم المعزَّز القائم على مكافآت قابلة للتحقق). وعدتنا هاتان التقنيتان بإضفاء الطابع الديمقراطي على تدريب النماذج الكبيرة، إذ تتيحان الاستغناء عن نماذج الناقد الثقيلة وتوفير كميات هائلة من ذاكرة الفيديو. لكن، كما يحدث غالبًا في صناعتنا، تختبئ خلف الواجهة الجميلة شقوق لا يُعتاد الحديث عنها في العروض التقديمية.

لنفهم أين انحرفنا عن الطريق، علينا أن نتذكر كيف كنا نعمل سابقًا. فالمعيار السائد في الصناعة، PPO (Proximal Policy Optimization)، كان يتطلب دائمًا نموذجين: الفاعل (actor) الذي يولّد النص، والناقد (critic) الذي يقيّمه. والناقد وحش نهم للموارد، وكثيرًا ما يعادل حجمه حجم النموذج الأساسي. اقترحت DeepSeek بأسلوب أنيق التخلص من الناقد واستبداله بمقارنة جماعية للإجابات داخل التكرار الواحد. وقد سمح ذلك بإدخال تدريب النماذج العملاقة ضمن ميزانيات معقولة. غير أن الباحثين بدأوا يلاحظون أن GRPO يتصرف بتقلّب شديد حين تتجاوز المهام حدود الاستدلال الرياضي الصرف.

وتكمن المشكلة الأساسية في RLVR في طبيعة «قابلية التحقق» ذاتها. تعمل هذه الطريقة على نحو مثالي في المهام ذات الإجابة الثنائية: فالشيفرة إما أن تُترجم بنجاح وإما لا، والمسألة الرياضية إما محلولة بشكل صحيح وإما لا. لكن الحياة ليست اختبارات وحدة (Unit tests) فقط. فعندما نحاول تطبيق هذا النهج على الكتابة الإبداعية، أو على التفكير في معضلات أخلاقية معقدة، أو حتى على حوار بشري بسيط، ينهار النظام. فمن دون ناقد مرن، يبدأ النموذج في «اختراق» نظام المكافآت، فيجد ثغرات في خوارزميات التحقق، ما يؤدي إلى تدهور جودة اللغة. والنتيجة آلة حاسبة ذكية تنسى تمامًا كيف تكون محاورًا ممتعًا.

علاوة على ذلك، يثير الاستقرار الرياضي لـ GRPO تساؤلات. ففي التعلّم المعزَّز الكلاسيكي يساعد الناقد على تخفيف تباين التدرجات (gradients). أما في GRPO فنعتمد على المتوسط داخل مجموعة من الإجابات. وإذا كانت المجموعة مختارة على نحو غير موفّق، أو كانت الإجابات متشابهة أكثر من اللازم، «يفقد التدرج صوابه» ويصبح تدريب النموذج أشبه بالسير في حقل ألغام. وتنفق فرق كثيرة اليوم أسابيع في ضبط المعاملات الفائقة (hyperparameters) التي نجحت لدى DeepSeek، دون أن تدرك أن مهمتها المحددة قد تكون غير متوافقة جوهريًا مع هذا التبسيط.

ولا ينبغي نسيان «الإفراط في التكيّف مع المكافأة». فبما أن RLVR يستخدم قواعد تحقق صارمة، تتعلم النماذج بسرعة أن تنتج بالضبط ما يريد سكربت التحقق أن يراه، وتفقد القدرة على التعميم. إنه الفخ الكلاسيكي الذي وقع فيه مطوّرو الذكاء الاصطناعي للألعاب قبل عشر سنوات، لكننا اليوم نكرر الخطأ نفسه على نطاق تريليونات المعاملات. ونحن نخاطر بإنتاج جيل من النماذج التي تجتاز الاختبارات على نحو مثالي، لكنها عديمة الفائدة تمامًا في السيناريوهات الواقعية حيث تتغير شروط المهمة أثناء التنفيذ.

تمرّ الصناعة الآن بمرحلة الإنكار. فالجميع يريد أن يصدّق أنه عثر على «شيفرة الغش» لبناء AGI. لكن الواقع أن GRPO وRLVR أداتان متخصصتان لدائرة ضيقة من المهام، وليستا حلًا شاملًا. والعودة إلى بنى أكثر تعقيدًا لكنها أكثر استقرارًا، تستخدم نماذج ناقد كاملة، أمر حتمي حالما تتحطم موجة الحماس الأولى على صخرة مقاييس الإنتاج القاسية. علينا أن نكفّ عن نسخ وصفات الآخرين ونبدأ في فهم «كيمياء» العملية.

الخلاصة: GRPO هو النسخة «الحِمْيَوية» من التعلّم المعزَّز، تساعد على توفير تكاليف العتاد، لكنها كثيرًا ما تحرم النموذج من «الوزن الفكري» في المهام المعقدة. ومن غير المرجح أن يسلك Claude 4 وGPT-5 طريق التبسيط هذا.