NVIDIA تطلق Molt: إطار عمل بلغة PyTorch للتعلم المعزز الوكيلي في 8600 سطر برمجي

أطلقت NVIDIA في 1 أغسطس 2026 إطار Molt للتعلم المعزز الوكيلي على PyTorch، وقد طوّره فريق NeMo. أبرز ما يميّزه أن شيفرة التعلم المعزز فيه تبلغ نحو 8 600 سطر، أي أقل بسبع مرات من verl، مع أداء مماثل لمنظومة Megatron.

لماذا يهم حجم الشيفرة الباحثين؟

صُمّم Molt بحيث يستطيع الباحث استيعاب قاعدة الشيفرة كاملة في ذهنه، ويستطيع مساعد الذكاء الاصطناعي قراءتها وفهمها بالكامل. ففي مشاريع التعلم المعزز الأكاديمية والمؤسسية، تتطلب كل نسخة جديدة من الخوارزمية تعديلات في المدرِّب والواجهة الخلفية الموزعة وطبقة الربط الخاصة بالـ rollout، وكل تعديل يكلّف وقتًا كبيرًا. ويعالج Molt هذه المشكلة بالاختصار: 8 600 سطر مقابل 62 000 لدى verl و25 000 لدى slime و7 200 لدى OpenRLHF.

• حجم شيفرة التعلم المعزز في Molt: ~8 600 سطر (مقابل 62 000 لدى verl و25 000 لدى slime و7 200 لدى OpenRLHF)
• الترخيص: Apache 2.0، مع سكربتات Slurm جاهزة وحاوية مُعدّة مسبقًا
• متطلبات العتاد: 16 معالج NVIDIA H100 موزعة على عقدتين (8 للتدريب و8 للـ rollout)
• المكوّنات: Ray (التنسيق)، وvLLM (الـ rollout)، وNVIDIA AutoModel مع FSDP2 (التدريب)
• السيناريوهات المدعومة: وكلاء استخدام الأدوات متعددو الخطوات، وتنفيذ الشيفرة، وبيئات الرؤية واللغة، وLLM-as-judge، والتقطير on-policy إلى نموذج أصغر

كيف يعمل Molt من الداخل؟

يربط Molt ثلاثة مكوّنات دون إنشاء نسخ معدّلة منها (forks): يتولى Ray إدارة التوزيع وطوابير المعالجة غير المتزامنة، وينفّذ vLLM الـ rollout، ويتكفل NVIDIA AutoModel مع FSDP2 بالتدريب. وتصل تحديثات المصدر الأصلي (upstream) عبر تغيير الإصدار المثبّت في الحاوية، دون الحاجة إلى إعادة بناء الفروع (rebase).

«يجب أن تكون قاعدة الشيفرة مدمجة بما يكفي ليتمكن الباحث من استيعابها في ذهنه، ويتمكن مساعد الذكاء الاصطناعي من قراءتها وفهمها بالكامل»، بحسب الوثائق التقنية لـ

Molt الصادرة عن NVIDIA NeMo.

الوكيل في Molt برنامج Python عادي: يحدد الباحث الوحدة البرمجية التي تحتوي على AgentRunner، وتُكتب دالة المكافأة بشيفرة قياسية. ويدعم الإطار نمطين: Env (يدير الإطار حلقة LLM على غرار Gymnasium) وChatAgent (يتحكم المطوّر عبر حزمة SDK القياسية من OpenAI أو Anthropic). ويشغّل الإطار خادم loopback يدعم بروتوكولي الاتصال (wire protocols)، ويُفكّ ترميز كل طلب على جانب الخادم إلى تسلسل الرموز (tokens) نفسه تمامًا.

تقوم فلسفة التصميم على ثلاثة ثوابت لضمان الصحة: هوية الرموز، أي أن الرموز المولَّدة هي التي تحدد المسار، وليس نص الحوار بعد إعادة ترميزه؛ ودلالات إصدار السياسة، أي حفظ احتمالات اللوغاريتم (log-probabilities) لسياسة السلوك على مستوى الرموز؛ والاتساق الأمامي، أي أن الـ rollout والممثّل (actor) يجب أن يعملا بالنموذج نفسه. وبالنسبة إلى سياسات MoE (مزيج الخبراء)، يطبّق Molt آلية rollout routing replay: يعيد vLLM معرّفات الخبراء لكل رمز، ويعيد مسار التدريب إنتاجها، وبذلك يُستبعد أي اختلاف في التوجيه.

لمن يتوفر Molt الآن؟

يستهدف Molt المجموعات البحثية التي تتوفر لديها عناقيد H100 أو H200. وبحسب NVIDIA، يتطابق أداء الإطار إحصائيًا مع منظومة Megatron، أي أن الباحثين لا يضحّون بالسرعة مقابل الاختصار. أما الفئات المستهدفة فهي: مختبرات الذكاء الاصطناعي الرائدة (frontier) والشركات الناشئة الممولة في مجال الذكاء الاصطناعي التي تعمل على مرحلة ما بعد التدريب للنماذج؛ والمجموعات البحثية المؤسسية في قطاعات المالية والرعاية الصحية والروبوتات التي تتوفر لديها عناقيد GPU متعددة العقد؛ والمختبرات الأكاديمية التي تمتلك H100/H200.

ماذا يعني ذلك

يخفّض Molt تكلفة التكرار في أبحاث التعلم المعزز: فالـ 8 600 سطر الشفافة تسرّع التجارب على مستوى الخوارزميات، ودعم حزم SDK القياسية يعني أن الشيفرة الوكيلية الحالية تُدرَّب دون إعادة كتابتها. وتبني NVIDIA بذلك منظومة مفتوحة لتدريب الوكلاء، وتنافس verl وOpenRLHF لا في السرعة وحدها، بل في سهولة البحث أيضًا.

الأسئلة الشائعة

كم معالج GPU يلزم لتشغيل Molt؟

تتطلب الوصفة القياسية 16 معالج NVIDIA H100 موزعة على عقدتين: 8 منها للتدريب و8 للتوليد (rollout).

ما الفرق بين Molt وكل من verl وOpenRLHF؟

يحتوي Molt على نحو 8 600 سطر من شيفرة التعلم المعزز مقابل 62 000 لدى verl و7 200 لدى OpenRLHF. ولا يُنشأ أي فرع معدّل (fork) من أي من المكوّنات الثلاثة (Ray وvLLM وNVIDIA AutoModel): تصل التحديثات عبر تغيير الإصدار المثبّت في حاوية Docker.