Nvidia تكشف عن PivotRL: إطار عمل لوكلاء الذكاء الاصطناعي يوفّر 4 أضعاف خطوات rollout

كشفت Nvidia عن PivotRL، وهو إطار جديد لمرحلة ما بعد التدريب للنماذج اللغوية الكبيرة الوكيلية (agentic LLM)، يحاول حل أحد أكثر المفاضلات إزعاجاً في الذكاء الاصطناعي: فإما تدريب إضافي رخيص يتراجع أداؤه خارج مجموعة البيانات، وإما جودة عالية بكلفة rollout باهظة جداً. ووفقاً للشركة، يحقق الأسلوب دقة مماثلة لـ end-to-end RL في المهام الوكيلية، لكنه يحتاج إلى عدد rollout-turns أقل بأربع مرات.

أين تكمن نقطة الاختناق

يصطدم post-training للنماذج المخصصة لسيناريوهات وكيلية طويلة منذ فترة بتعارض بين الكفاءة والتعميم. فالضبط الدقيق الخاضع للإشراف (Supervised Fine-Tuning) زهيد الكلفة نسبياً: يُدرَّب النموذج على مسارات جاهزة، دون أن يضطر إلى اجتياز المسار كاملاً من جديد في الوضع المباشر (online) في كل مرة. لكن المشكلة أن هذا النمط كثيراً ما يربط النموذج بتوزيع أمثلة التدريب. وما إن تنحرف المهمة قليلاً، كأن يكون الموقع مختلفاً أو صيغة الإجابة مختلفة أو طريقة استدعاء الأداة مختلفة، حتى قد تتراجع الجودة بشكل ملحوظ.

أما مع end-to-end reinforcement learning فالصورة معكوسة. فهو يحافظ بصورة أفضل على القدرة على العمل خارج مجال التدريب، لأن النموذج يتعلّم من أفعاله الخاصة (on-policy) ومن نتائج تلك الأفعال. لكن الثمن مرتفع: ففي المهام الطويلة مثل البرمجة أو التصفح أو العمل في الطرفية (terminal) لا بد من تشغيل rollout متعددة الخطوات مراراً قبل كل تحديث للمعاملات. وفي post-training الإنتاجي للنماذج الكبيرة تتحول هذه العملية سريعاً إلى مسار مكلف جداً، من حيث الوقت وميزانية GPU على حد سواء.

كيف يعمل PivotRL

تقوم فكرة PivotRL على ألا يُدرَّب النموذج على المسار بأكمله، بل أن تُستخرج منه الخطوات الوسيطة الأكثر إفادة. ويسمّيها الباحثون pivots. في البداية تُستخرج من مجموعة بيانات SFT كل خطوات المساعد عند حدود استدعاء النموذج، ثم تُحلَّل خارج الاتصال (offline) بواسطة reference policy مجمَّدة. ولا تدخل في التدريب أي حالات عشوائية، بل فقط تلك التي تعطي فيها rollout المحلية من نوع on-policy نتائج مختلطة: بعض الأفعال يقود إلى النجاح وبعضها إلى الفشل. وفي هذه المواضع تحديداً تكون إشارة RL في أقوى حالاتها، لأن النموذج لم «يحلّ» المهمة بعد، ولا ينعدم التدرّج (gradient) ليساوي الصفر.

العنصر الثاني الأساسي هو functional rewards بدلاً من المطابقة الصارمة مع السلسلة النصية الواردة في العرض التوضيحي. وهذا حاسم في الأفعال الوكيلية: فالهدف نفسه يمكن بلوغه عبر أوامر shell مختلفة أو استعلامات بحث مختلفة أو صيغ مختلفة لاستدعاء الأداة. ولا يحتسب PivotRL المطابقة الحرفية، بل النتيجة الصحيحة وظيفياً، عبر verifiers خاصة بكل مجال: من تطبيع المخطط (schema) والتقارب النصي وصولاً إلى فحص خفيف بأسلوب LLM-as-a-judge. وبذلك يحوّل الإطار الاحتمالات لصالح الأفعال المقبولة، لكنه يُخلّ بسلوك النموذج بدرجة أقل في المهام غير ذات الصلة.

ماذا أظهرت الاختبارات

كان النموذج الأساسي في التجارب هو Qwen3-30B-A3B-Thinking-2507. وشغّلت Nvidia PivotRL على أربعة مجالات وكيلية: conversational tool use وSWE-Bench Verified وTerminal-Bench وBrowseComp. وجرت المقارنة مع SFT التقليدي على البيانات نفسها، ومع end-to-end RL في الحالات التي تهم فيها كلفة rollout الطويلة. ولم يقتصر الفريق على قياس الدقة المطلقة، بل اختبر مسألة عملية أيضاً: هل يمكن الحصول على نتيجة مماثلة دون دورة التدريب الكاملة المكلفة في كل خطوة.

• بلغ متوسط التحسن داخل المجال (in-domain) مقارنة بالنموذج الأساسي 14,11 نقطة مقابل 9,94 لـ SFT على البيانات نفسها.
• بالمقارنة مع SFT، حقق PivotRL دقة أعلى بمتوسط 4,17% في المهام الوكيلية.
• على ثمانية معايير خارج المجال (out-of-domain)، فقد SFT في المتوسط 9,83 نقطة، بينما أظهر PivotRL تغيراً شبه معدوم: +0,21.
• في المهام غير الوكيلية خارج المجال، حصل الأسلوب على OOD-accuracy أعلى بنسبة 10,04% من SFT.
• على SWE-Bench Verified، بلغ PivotRL مستوى مماثلاً لـ E2E RL بعدد rollout turns أقل بمقدار 4x، وأسرع بنحو 5,5 مرة من حيث الزمن الفعلي (wall-clock time).

وتشدد Nvidia بصورة منفصلة على أن الأسلوب مستخدم فعلاً في Nemotron-3-Super-120B-A12B كمخطط عمل لـ agentic post-training على نطاق الإنتاج. وهذه إشارة مهمة: فالأمر لا يتعلق بفكرة أكاديمية على رسم بياني واحد، بل بتقنية تعدّها الشركة عملية بما يكفي لنموذج كبير حقيقي. وإذا أمكن تكرار النتيجة على منصات أخرى، فقد يصبح PivotRL خياراً وسطاً للفرق التي تحتاج إلى RL وكيلي دون التكلفة الكاملة للتدريب end-to-end.

ما معنى ذلك

يتحول سباق وكلاء الذكاء الاصطناعي تدريجياً من «من يشغّل rollout لفترة أطول» إلى سؤال: أين تُنفق الموارد الحسابية بأقصى فائدة. ولا تكمن أهمية PivotRL في أنه يستبدل RL أو SFT بالكامل، بل في أنه يقترح اقتصاداً أكثر دقة للتدريب: خطوات فارغة أقل، وتدهوراً أقل خارج المجال، وفرصاً أكبر لإيصال النماذج الوكيلية إلى مرحلة الإنتاج دون أن تنفجر الميزانية.