SkyRL وvLLM يعيدان تدريب Mistral Large 4 بالتعلم المعزز: AIME ترتفع من 64% إلى 75%

أعلن فريق مشروع vLLM ومختبر NovaSky AI أن إطار العمل SkyRL يدعم منذ اليوم الأول التدريب بالتعلم المعزز (RL) لنموذج Mistral Large 4. ورفع عنقود من 8 عقد Nvidia GB200 نتيجة النموذج في AIME 2024 من نحو 64% إلى نحو 75% خلال 75 خطوة تدريب. يتألف AIME 2024 من 30 مسألة من أولمبياد الرياضيات الأمريكي، وإجابة كل منها دائمًا عدد صحيح. ويعني مقياس avg@8 أن النموذج يحاول حل كل مسألة 8 مرات، ثم يُحتسب متوسط نسبة الإجابات الصحيحة. وبهذه الطريقة يقل اعتماد النتيجة على حظ محاولة واحدة.

ما المقصود بـ Day-0 ولماذا يهم

يعني Day-0 أن الدعم جاهز في يوم إصدار النموذج. عادةً يمكن في البداية تشغيل النموذج الكبير الجديد فقط، أما مواصلة تدريبه فتتأخر إلى أن يكتب المجتمع الشيفرة الملائمة لبنيته. والمعلن هنا أن حزمة SkyRL وvLLM عملت مع Mistral Large 4 فورًا.

ويجري التعلم المعزز على النحو التالي. يتلقى النموذج مسألة ويكتب عدة حلول لها. تُسمّى هذه الحلول rollouts، أي «مسارات الحل». بعد ذلك يُتحقق من كل مسار: هل طابقت الإجابة الإجابة المرجعية؟ عن الإجابة الصحيحة ينال النموذج مكافأة، وتتحرك الأوزان بحيث تصبح سلاسل الاستدلال الناجحة أكثر احتمالًا. وفي الرياضيات يكون هذا التحقق رخيصًا وحاسمًا، ولهذا تُستخدم AIME ومجموعات المسائل المشابهة كثيرًا في RL.

من يتولى ماذا في هذه الحزمة

الفكرة الهندسية الرئيسية هي تقسيم العمل. فمرحلتا الدورة تحمّلان العتاد بطريقتين مختلفتين، وتتولى كل مرحلة أداة مستقلة:

• vLLM يولّد مسارات الحل. وهو محرك للاستدلال السريع (inference)، أي لتشغيل النموذج وإنتاج الإجابات. يستغرق التوليد معظم وقت دورة RL، ولذلك تلزم هنا خدمة سريعة.
• FSDP2 أو Megatron يتولّيان التدريب. FSDP2 هو الإصدار الثاني من نهج PyTorch الذي تُجزَّأ فيه المعاملات والتدرجات بين وحدات GPU. أما Megatron فهو إطار عمل من Nvidia لتدريب النماذج الضخمة جدًا. ويتيح SkyRL اختيار أي منهما.
• SkyRL من NovaSky AI يربط كل شيء في عملية واحدة: يأخذ المسارات من vLLM، ويحسب المكافآت، ويمرّر البيانات إلى التدريب.

والمغزى العملي أن المهندس لا يكتب طبقة الربط بين محرك التوليد وشيفرة التدريب. فهو يأخذ حزمة جاهزة ويضع فيها نموذجه.

لماذا دُرّب LoRA على نقطة حفظ ذات 4 بت

يذكر المنشور أسلوبين يخفضان تكلفة العملية.

الأول هو LoRA. فبدل تحديث جميع أوزان النموذج الضخم، تُدرَّب مصفوفات إضافية صغيرة تُوصَل فوقه. وتشغل هذه المصفوفات جزءًا صغيرًا من الذاكرة مقارنةً بالنموذج نفسه، بينما يبقى Mistral Large 4 مجمّدًا.

والثاني هو نقطة حفظ بصيغة NVFP4. وهي تمثيل للأعداد بـ 4 بت تدعمه Nvidia على بنية Blackwell، ومنها GB200. وتشغل الأوزان بهذه الصيغة حيّزًا أصغر بأضعاف مما تشغله بصيغة 16 بت. فيتسع النموذج الكبير على عدد أقل من العقد، ويصبح التوليد أسرع.

والحصيلة تهيئة متواضعة بمقاييس النماذج الكبيرة: 8 عقد، و75 خطوة، وارتفاع بنحو 11 نقطة مئوية في اختبار معياري واحد.

كيف تُقرأ هذه النتيجة

الأرقام مأخوذة من إعلان مشروع vLLM نفسه، ولا يوجد حتى الآن تحقق مستقل منها. ويُظهر الارتفاع في AIME 2024 أن دورة RL تعمل على هذا النموذج وهذا العتاد. لكنه لا يثبت أن النموذج صار أفضل بوجه عام. ففي المسائل الرياضية ذات التحقق الحاسم يعطي RL عادةً أثرًا ملحوظًا، أما في المهام المفتوحة (الكتابة، وسيناريوهات الوكلاء، والشيفرة في مستودع كبير) فينبغي قياس النتيجة على حدة.

والخلاصة للمهندسين أن مواصلة تدريب نموذج مفتوح كبير بالتعلم المعزز أصبحت أسهل: فحزمة جاهزة من مكونات مفتوحة تعمل منذ يوم الإصدار، كما يخفض LoRA وNVFP4 متطلبات العتاد. وبالنسبة للشركات التي لديها مهام خاصة بها مع تحقق آلي من الإجابة، هذا طريق لتكييف النموذج مع احتياجاتها دون إعادة تدريب كاملة. ويبقى أن تختبر على بياناتها كم من هذه النقاط الـ 11 يمكنها تكراره.