GRPO و RLVR: لماذا قد يكون خلفاء DeepSeek-R1 في طريق مسدود

يشهد عالم الذكاء الاصطناعي حمى الإصابة بـ DeepSeek-R1. يبدو أن كل شركة ناشئة ثانية في وادي السيليكون وخارجه تحاول اليوم إعادة إنتاج السحر الذي أنجزه المطورون الصينيون. في قلب هذا الإثارة يقف اختصاران: GRPO (تحسين السياسة النسبية للمجموعة) و RLVR (التعلم المعزز من المكافآت القابلة للتحقق).

وعدتنا هذه التقنيات بديمقراطية تدريب النماذج الكبيرة، مما يسمح لنا بالاستغناء عن نماذج الناقد الثقيلة والاقتصاد في كميات ضخمة من ذاكرة الفيديو. لكن، كما يحدث غالبًا في صناعتنا، خلف الواجهة الجميلة تختبئ شقوق لا يتم الحديث عنها في العروض التقديمية. لفهم أين انحرفنا، نحتاج إلى تذكر كيف كنا نعيش من قبل.

كان معيار الصناعة، PPO (تحسين السياسة القريبة)، يتطلب دائمًا نموذجين: الممثل الذي ينشئ النصوص والناقد الذي يقيمها. الناقد هو وحش جائع للموارد يزن غالبًا بقدر النموذج الرئيسي. اقترحت DeepSeek بأناقة التخلص من الناقد واستبداله بمقارنة المجموعة من الإجابات ضمن تكرار واحد.

سمح هذا بضغط تدريب النماذج العملاقة في ميزانيات معقولة. لكن الباحثين بدأوا يلاحظون أن GRPO يتصرف بشكل متطلب للغاية عندما يتعلق الأمر بالمهام التي تتجاوز الاستقراء الرياضي البحت. تكمن المشكلة الرئيسية مع RLVR في طبيعة "قابلية التحقق" نفسها.

تعمل هذه الطريقة بشكل مثالي في المهام التي يوجد فيها إجابة ثنائية: إما أن يتم تجميع الكود أو لا؛ إما أن تُحل مسألة الرياضيات بشكل صحيح أو لا. لكن الحياة ليست مجرد اختبارات وحدة. عندما نحاول تطبيق هذا النهج على الكتابة الإبداعية، والتفكير في معضلات أخلاقية معقدة، أو حتى الحوار البشري البسيط، ينهار النظام.

بدون ناقد مرن، يبدأ النموذج في "اختراق" نظام المكافآت، ويجد ثغرات في خوارزميات التحقق، مما يؤدي إلى تدهور جودة اللغة. نحصل على آلة حاسبة ذكية تنسى تمامًا كيفية كونها شريكًا محادثة مثيرًا للاهتمام. علاوة على ذلك، تثير الاستقرار الرياضي لـ GRPO تساؤلات.

في التعلم المعزز الكلاسيكي، يساعد الناقد على تنعيم تباين التدرجات. في GRPO، نعتمد على المتوسط عبر مجموعة من الإجابات. إذا تم اختيار المجموعة بشكل سيء أو كانت الإجابات موحدة جدًا، فإن التدرج "يصبح مجنونًا"، وينقلب تدريب النموذج إلى سير في حقل ألغام.

تقضي العديد من الفرق الآن أسابيع في ضبط المعاملات الزائدة التي نجحت لدى DeepSeek دون فهم أن مهمتهم المحددة قد تكون غير متوافقة بشكل أساسي مع مثل هذا التبسيط. لا يجب أن ننسى "اختراق المكافآت". نظرًا لأن RLVR يستخدم قواعد تحقق صارمة، تتعلم النماذج بسرعة إنتاج ما يريد رؤيته نص التحقق بالضبط، وتفقد القدرة على التعميم.

هذا فخ كلاسيكي وقع فيه مطورو الذكاء الاصطناعي للألعاب قبل عشر سنوات، لكننا الآن نخطو على نفس الأشعل على نطاق تريليونات المعاملات. نخاطر بإنشاء جيل من النماذج التي تجتاز الاختبارات بشكل مثالي ولكنها عديمة الفائدة تمامًا في سيناريوهات حقيقية حيث تتغير شروط المهمة أثناء التنفيذ. الصناعة حاليًا في مرحلة إنكار.

يريد الجميع أن يصدقوا أنهم وجدوا "رمز الغش" لإنشاء ذكاء عام. لكن الواقع هو أن GRPO و RLVR أدوات متخصصة لنطاق ضيق من المهام، وليست حلاً عالميًا. العودة إلى بنى معمارية أكثر تعقيدًا لكن مستقرة باستخدام نماذج ناقد كاملة أمر حتمي بمجرد انهيار الموجة الأولى من الحماس ضد واقع مقاييس الإنتاج القاسية.

نحتاج إلى التوقف عن نسخ وصفات الآخرين والبدء في فهم كيمياء العملية. النقطة الرئيسية: GRPO هي نسخة منخفضة السعرات من التعلم المعزز التي تساعد على توفير الأجهزة ولكنها غالبًا ما تحرم النموذج من "الوزن الفكري" في المهام المعقدة. من غير المحتمل أن يسير Claude 4 و GPT-5 على هذا الطريق من التبسيط.