Lean4AgenticRL: نموذج LAR-27B يحقق 77,3% في TerminalBench-2.1 بفضل مكافآت رسمية

اقترح فريق Lean4AgenticRL طريقة لتدريب وكلاء LLM لا تعتمد على النتيجة النهائية وحدها، بل تأخذ في الحسبان جودة الخطوات الوسيطة أيضًا. وتُتحقق هذه الخطوات رسميًا عبر مخطط Lean4. دُرّب على أساس هذا الإطار نموذجان هما LAR-9B وLAR-27B. وحقق النموذج الأكبر نسبة 77,3% في TerminalBench-2.1. وتفوقت النماذج في المتوسط على النموذج الأساسي بنسبة 9,89%، وعلى أفضل نموذج بحجم مماثل يعرفه المؤلفون بنسبة 5,07%.

المشكلة: الوكيل يتعلم من الدرجة النهائية

مهام الوكلاء في تطوير البرمجيات والعمل على الطرفية طويلة. يقرأ الوكيل المستودع، ويشغّل الأوامر، ويعدّل الملفات، ويجري الاختبارات، ثم يتراجع ويعيد المحاولة. وعادةً ما تخضع LLM الحديثة المخصصة لهذه السيناريوهات لتدريب إضافي واسع النطاق بالتعلم المعزز (RL). وبحسب وصف المؤلفين، تهيمن على هذا التدريب outcome reward، أي المكافأة على النتيجة، مثل اجتياز الاختبارات.

لهذه الإشارة عيب واضح: فهي تصل في النهاية، ولا تخبرنا أي خطوة من عشرات الخطوات كانت موفقة وأيها كانت زائدة. أما استدعاءات الأدوات على المستوى الأدنى، ومراحل سير العمل على المستوى الأوسط، فلا تكاد تنال مكافأة خاصة بها. ويرى المؤلفون أن ذلك يجعل التدريب أقل كفاءة.

كيف يعمل Lean4AgenticRL

يقوم النهج على الصياغة الرسمية في Lean4. ويؤكد المؤلفون أنه أول إطار تستند فيه مكافآت العمليات متعددة المستويات، في التعلم المعزز الوكيلي المفتوح، إلى مخطط Lean4 واحد. وتسير السلسلة على النحو التالي.

تبدأ العملية ببناء problem-specific workflow، أي سير عمل مصمم لمهمة محددة. ويجب أن يحافظ هذا السير على توازن بين قدرات الوكيل الذاتية وقابلية التحكم فيه: فلا يُحصر الوكيل في مسار صارم، لكنه يحصل على بنية تتيح التحقق من سلوكه.

بعد ذلك تُصاغ مراحل سير العمل رسميًا وتُوزَّع المكافآت على عدة مستويات. وهذا يتيح التحقق من أفعال الوكيل داخل بيئة تشغيل (harness) عامة. ويعتمد التدريب على GRPO مع تطبيع على مستوى مراحل سير العمل. والفكرة أن تُقارَن الإشارة وتُحسب قيمتها المتوسطة داخل المرحلة الواحدة، لا على المسار الكامل دفعة واحدة.

أبرز معالم العمل:

• الإطار: Lean4AgenticRL، بمكافآت على ثلاثة مستويات (استدعاء الأداة، ومرحلة سير العمل، والنتيجة النهائية)؛
• الخوارزمية: workflow-stage-normalized GRPO؛
• النماذج: LAR-9B وLAR-27B؛
• أفضل نتيجة: 77,3% لنموذج LAR-27B في TerminalBench-2.1؛
• التحسن مقارنة بالنموذج الأساسي: 9,89% في المتوسط؛
• الفارق عن ثاني أقوى نموذج بحجم مماثل: 5,07%.

ماذا تقول الأرقام

تبدو نسبة 77,3% في TerminalBench-2.1 لنموذج بحجم 27 مليار معامل نتيجة قوية. لكن الملخص لا يتضمن التفاصيل اللازمة للتقييم الدقيق. فلم يُذكر النموذج الأساسي. ولم تُحدَّد المجموعة الكاملة من الاختبارات المعيارية التي حُسب منها المتوسط. ولم يُوضَّح هل النسبتان 9,89% و5,07% نقاط مئوية أم قيم نسبية. ولم يُذكر من هو بالضبط «ثاني أقوى نموذج». وإلى أن يُفحص النص الكامل للورقة، من الأفضل قراءة هذه الأرقام بوصفها ادعاءً من المؤلفين، لا مقارنة مستقلة.

ومع ذلك فالاتجاه واضح. فإذا أمكن الحصول على مكافآت الخطوات بصورة قابلة للتحقق، ودون نموذج مكافأة قابل للتدريب ودون تقييم مشوَّش من LLM أخرى، تصبح إشارة العملية أرخص وأكثر موثوقية. وعلى هذا تقوم الرهانات على الأساليب الرسمية.

ماذا تفعل الفرق بهذا

بالنسبة إلى من يدرّبون وكلاءهم بأنفسهم على مهام SWE والمهام الطرفية، فالخلاصة الهندسية الرئيسية: ينبغي النظر إلى بنية المسار، لا إلى نتيجة النجاح أو الفشل (pass/fail) النهائية وحدها. وحتى دون Lean4، من المفيد وسم المراحل النموذجية (الاستطلاع، والتعديل، والتحقق) وقياس التقدم عبرها.

من الأفضل انتظار النص الكامل، وكذلك الشيفرة وأوزان LAR-9B/27B إن نشرها المؤلفون. عندها يمكن التحقق من حجم العمل الذي تتطلبه صياغة سير العمل رسميًا لفئة جديدة من المهام، ومن إمكانية انتقال المكسب إلى ما وراء الاختبارات المعيارية الطرفية. وتكلفة هذا الوسم هي التي ستحدد هل يصبح النهج أداة عمل أم يبقى عرضًا بحثيًا.