MagicBeanStalk يرفع أداء gpt-oss-120b في الرياضيات من 61,2 إلى 69,8 نقطة

يزعم مؤلفو الورقة البحثية الأولية (preprint) لخوارزمية MagicBeanStalk أن معظم البيانات المفتوحة المخصصة لـ RLVR عديمة الفائدة لنموذج بعينه. ففي مجموعة رياضيات موحّدة تضم 78K مسألة، تُحَلّ نحو 88% من المسائل في كل محاولة، أو تفشل في كل محاولة، وذلك عند ثبات السياسة (policy) وميزانية rollouts. وتعتمد الخوارزمية المقترحة على استنبات مسائل جديدة بصورة تعاودية من المسائل الصعبة، مع معايرة صعوبتها. ونتيجة لذلك ارتفع أداء gpt-oss-120b من 61,2 إلى 69,8 نقطة (+8,6) على ثمانية اختبارات رياضية، وارتفع أداء DeepSeek v4Flash من 72,4 إلى 77,9 (+5,4) بميزانية 16K توكن.

فخ الأفضلية الصفرية

يُوسَّع نطاق RLVR، أي التعلم المعزَّز على مكافآت قابلة للتحقق، عادةً بزيادة عدد المسائل. لكن المؤلفين يقترحون النظر في أمر آخر: هل توفّر مجموعة البيانات إشارة مفيدة لنموذج محدد عند ميزانية محددة؟ ويصفون فعالية مجموعة البيانات بوصفها دالة لثلاثة متغيرات: المسائل نفسها، والسياسة المستهدفة، وعدد rollouts لكل جولة تدريب.

في الطرائق التي تعتمد تطبيعًا جماعيًا للمكافأة، مثل GRPO، إذا حصلت جميع المحاولات على المسألة نفسها على النتيجة نفسها، تصبح الأفضلية صفرًا وينعدم التدرّج. وبحسب بيانات الورقة، تقع المجموعة الموحّدة المأخوذة من مجموعات RLVR الشائعة كلها تقريبًا في هذا الوضع. فالمسائل السهلة تُحَلّ دائمًا، والصعبة لا تُحَلّ أبدًا، ولا يبقى ما يتعلّم منه النموذج.

يساعد الترشيح جزئيًا، إذ يركّز على المسائل المتبقية التي تتباين نتائجها. لكنه يقتصر على الانتقاء، ويستبعد في الوقت نفسه أصعب الأمثلة، وفيها بالذات يكمن ما يحتاجه النموذج من استدلال. كما لم تنجح الحيلة البسيطة: فإذا طُلب من نموذج لغوي معلّم (LLM) تنويع المسائل الصعبة مباشرة، فلا تتحقق المعايرة المطلوبة.

كيف تعمل الخوارزمية

تعمل MagicBeanStalk في مرحلتين: تفكيك تنازلي، ثم توليف تعاودي تصاعدي. فهي تستخرج من المسألة الأصلية (seed) عمليات الاستدلال وطرق تركيبها، ثم تجمّع منها عائلات من المسائل الجديدة جوهريًا، مع الحفاظ على «مخطط الاستدلال» للمسألة الأصلية. وتُضبط الصعوبة وفق السياسة والميزانية: ينبغي أن ينجح بعض rollouts ويفشل بعضها، وأن يتسع حلّ صحيح واحد على الأقل ضمن حدّ التدريب.

أبرز الأرقام الواردة في الورقة:

• gpt-oss-120b: 61,2 ← 69,8 (+8,6) على 8 اختبارات رياضية، بميزانية 16K توكن؛
• DeepSeek v4Flash: 72,4 ← 77,9 (+5,4) في الظروف نفسها؛
• التدريب على المجموعة الأصلية الكاملة البالغة 78K مسألة: +1,1 فقط؛
• أفضل مجموعة فرعية مرشَّحة من البيانات الحقيقية: +5,8؛
• المجال المالي: جرى توليد أكثر من 14K مسألة قابلة للتحقق من 340 حلًّا فقط؛
• المكسب على النموذج الأساسي في المجال المالي: +6,9 على SecQue و+2,4 على FinanceBench.

وتبدو المقارنة بالترشيح دالّة: فالبيانات الاصطناعية تتفوق على أفضل شريحة حقيقية بمقدار 2,8 نقطة في حالة gpt-oss-120b. أما حجم المجموعة البالغ 78K مسألة فيتبيّن أنه شبه عديم الفائدة.

ما الذي ينبغي أن تراعيه الفرق التي تدرّب النماذج

الخلاصة العملية بسيطة: قبل إطلاق RLVR، يجدر قياس نسبة المسائل ذات التباين الصفري في النتائج لنموذجك وميزانية rollouts الخاصة بك. وإذا اقتربت هذه النسبة من 88%، فسيذهب جزء كبير من الحوسبة هدرًا، والأجدر بدل توسيع مجموعة البيانات الاهتمام بمعايرتها. ويُظهر المثال المالي أن الطريقة يمكن تشغيلها حتى حيث تقل البيانات الموسومة: فقد كفت 340 حلًّا لتوليد 14K مسألة قابلة للتحقق.

والتحفظات واضحة. فهذه ورقة أولية بنسختها الأولى، ولم تخضع نتائجها لمراجعة الأقران، وقد حصل عليها المؤلفون أنفسهم. كما أن المكسب في المجال المالي أقل منه في الرياضيات، وتتطلب الطريقة إجابات قابلة للتحقق، أي لا يمكن تطبيقها في المجالات التي تخلو من مُحقِّق (verifier) واضح. وستكشف عمليات إعادة الإنتاج المستقلة على نماذج وميزانيات أخرى مدى ثبات هذه الاستنتاجات.