ProAS يسرّع تدريب وكلاء LLM بمقدار 2.44 مرة ويرفع نتيجة ALFWorld إلى 94.3%

نشر فريق LINs-lab أداة ProAS (اختصار Progress-Aware Advantage Shaping)، وهي إضافة قابلة للتركيب لتدريب وكلاء LLM بالتعلم المعزز. لا يتطلب الأسلوب نموذجًا ناقدًا منفصلًا، ويرفع نتائج الخوارزميات الأساسية الجماعية إلى مستوى جديد. على نموذج Qwen2.5-7B-Instruct يحل الوكيل 94.3% من المهام في ALFWorld و70.8% في WebShop، بينما تبلغ النتيجة 91.9% و66.7% للنسخة ذات 1.5 مليار معامل. ويتقارب التدريب في الوقت نفسه بسرعة تصل إلى 2.44 مرة أعلى.

المشكلة: تقييم واحد للمسار كله

أصبح التعلم المعزز الطريقة الرئيسية لمواصلة تدريب وكلاء LLM. وأشهر الخوارزميات التي لا تستخدم ناقدًا، ومنها GRPO، منخفضة التكلفة لأنها لا تحتفظ بشبكة ثانية كبيرة لتقييم الحالات. لكن ثمن هذا التوفير أن الميزة (advantage) تُحسب على مستوى المسار بأكمله، وتُوزَّع بالتساوي على جميع الإجراءات فيه.

يبيّن مؤلفو ProAS ما يؤدي إليه ذلك في المهام متعددة الخطوات، حيث ينفذ الوكيل عشرات الإجراءات.

• في المسار الناجح تُكافأ كل الخطوات دون تمييز، بما فيها الخطوات التي لا معنى لها من حيث البنية: انتقالات زائدة، وفحوص مكررة، وحلقات. ويرسّخ النموذج هذه الخطوات بوصفها «صحيحة» لمجرد أن النهاية كانت ناجحة.
• في المسار الفاشل تُعاقَب كل الإجراءات بالقوة نفسها، مع أن بعض الخطوات كادت توصل إلى الهدف، وبعضها أبعد الوكيل عنه كثيرًا. فلا تفرّق الإشارة بين خطأ في الخطوة الثانية وإخفاق في الخطوة الأخيرة.

وفي السيناريوهات الطويلة للوكلاء، يبطئ ذلك التدريب ويخفض نسبة النجاح النهائية.

كيف يعيد ProAS توزيع المكافأة

بدلًا من الناقد، يستخدم الأسلوب Agentic Reference Graph (ARG)، وهو رسم مرجعي يتطور ديناميكيًا. ويتيح هذا الرسم تقييم تقدّم كل إجراء بالنسبة إلى المهمة. وتقوم على هذا التقييم آليتان:

• Masking Unreasonable Incentives (MUI) تحجب الإشارة الإيجابية عن الإجراءات التي لا معنى لها، حتى لو كانت ضمن مسار «جيد».
• Asymmetric Penalty Redistribution (APR) تعيد توزيع العقوبة في المسارات السيئة بحسب مدى انحراف المسار المتبقي عن المسار المطلوب. وتتلقى الخطوات التي تبعد عن الهدف أكثر عقوبة أكبر.

هذا مخطط plug-and-play، إذ يعايِر حساب الميزة في الخوارزميات الجماعية القائمة، ولا يغيّر بقية مسار التدريب.

الأرقام والمتانة

أُجريت التجارب على نموذجين من عائلة Qwen2.5-Instruct، وعلى اختباري ALFWorld وWebShop:

• Qwen2.5-1.5B-Instruct: نسبة نجاح 91.9% في ALFWorld، و66.7% في WebShop.
• Qwen2.5-7B-Instruct: 94.3% في ALFWorld، و70.8% في WebShop.
• تسريع تقارب التدريب: حتى 2.44 مرة.
• جاءت النتائج فوق عدة أساليب جماعية أساسية شائعة، ويعلن المؤلفون أن ProAS يرفعها جميعًا إلى مستوى state-of-the-art جديد.

واختُبرت المتانة تجاه جودة الرسم المرجعي بشكل منفصل. يحافظ الأسلوب على فعاليته مع رسوم ARG غير المثالية والمقطَّرة على حد سواء. وهذا مهم لأن الحصول على رسم مثالي لمهام الوكلاء الواقعية صعب، كما أن العمل بكفاءة مع النسخ التقريبية يخفض عتبة الاعتماد.

من يستفيد منه عمليًا

غالبًا ما تصطدم الفرق التي تدرّب الوكلاء بمخططات شبيهة بـ GRPO بتكلفة الحوسبة وبعدم استقرار الإشارة في المسارات الطويلة. ويعالج ProAS المشكلتين معًا: فلا يضيف ناقدًا، كما أن التسريع حتى 2.44 مرة يعني ساعات GPU أقل للوصول إلى النتيجة نفسها. ويناسب الأسلوب من يبني وكلاء للتنقل في البيئات، وسيناريوهات الويب، والأتمتة متعددة الخطوات.

نُشرت الشيفرة في مستودع LINs-lab/ProAS على GitHub، ما يتيح اختبار الفرضية على مهام خاصة. وثمة تحفظ واحد: الأرقام مستمدة من اختبارين فقط ومن نماذج لا تتجاوز 7 مليارات معامل. أما سلوك الأسلوب على النماذج الأكبر وفي البيئات الأقل تنظيمًا، فستكشفه عمليات إعادة إنتاج مستقلة. لكن فكرة تقييم مساهمة كل خطوة دون ناقد تبدو وسيلة عملية لجعل التعلم المعزز للوكلاء أرخص وأكثر دقة.