Lean4AgenticRL: مكافآت العملية متعددة المستويات ترفع LAR-27B إلى 77.3%
تتطلب مهام هندسة البرمجيات الطويلة من الوكلاء فهم ليس فقط النتيجة النهائية، بل أيضاً جودة الإجراءات الوسيطة. إن مكافأة النتيجة البسيطة لا تقدّم سوى أدنى قدر من المعلومات عن فائدة كل خطوة على حدة. يجمع Lean4AgenticRL بين مكافآت العملية متعددة المستويات وصياغة Lean4 الرسمية من أجل تعلّم تعزيزي مفتوح. يبني الإطار سير عمل (workflow) لكل مهمة، ويصيغه رسمياً بلغة Lean4، ويوضّحه على ثلاثة مستويات: النتيجة النهائية، والتقدّم عبر المراحل، واستدعاءات الأدوات. وتوزّع خوارزمية GRPO مع التسوية حسب المراحل الفضل بين المراحل القابلة للمقارنة في المحاولات المختلفة، مما يحسّن كفاءة التدريب بشكل ملحوظ. • LAR-27B: 77.3% على TerminalBench-2.1، و84.2% على SWE-Bench-Verified، بتفوق 9.89% على النموذج الأساسي • ثلاثة مستويات للتوضيح: نتيجة المهمة، ومرحلة سير العمل، وسلوك الأدوات • أول إطار يدمج مكافآت متعددة المستويات في مخطط صياغة Lean4 موحّد
معالج بواسطة الذكاء الاصطناعي من Hugging Face Daily Papers؛ بتحرير Hamidun News
تتطلب المهام الطويلة في هندسة البرمجيات — سواء كانت تطويراً أو تصحيح أخطاء أو أتمتة في الطرفية (terminal) — من الوكلاء القدرة على التعلّم على مستويين: النتيجة النهائية والإجراءات الوسيطة. إلا أن مكافآت النتيجة التقليدية لا تقدّم سوى معلومات محدودة عن الخطوات التي كانت مفيدة فعلياً، وهو ما يعقّد عملية التعلّم التعزيزي الفعّال. قدّم باحثون في أمازون إطار Lean4AgenticRL، وهو أول إطار يُرسّخ مكافآت العملية متعددة المستويات في مخطط صياغة رسمية موحّد بلغة Lean4 من أجل تدريب مفتوح للوكلاء. وعلى أساسه، تم تدريب نموذجي LAR-9B وLAR-27B، اللذين يتفوقان على النماذج المماثلة ويحققان 77.3% على TerminalBench-2.1.
ثلاثة مستويات للتوضيح بدلاً من مستوى واحد
تعتمد المناهج الحالية بشكل أساسي على مكافآت عالية المستوى مرتبطة بالنتيجة النهائية، وتتجاهل تقريباً المعلومات المتعلقة بالسلوك منخفض المستوى عند استدعاء الأدوات وبالتقدّم متوسط المستوى عبر مراحل سير العمل. يحلّ Lean4AgenticRL هذه المشكلة بإضافة ثلاثة مستويات مكافآت مترابطة:
• مكافأة النتيجة (outcome reward) — تقييم نجاح النتيجة النهائية للمهمة • مكافأة مرحلة سير العمل (workflow-stage reward) — تقييم التقدّم في كل مرحلة من تنفيذ الخطة • مكافأة سلوك الأدوات (tool-call reward) — تقييم صحة استدعاءات الأدوات والوظائف الخارجية
الصياغة الرسمية عبر Lean4 كأساس للتحقق
يبدأ الإطار ببناء سير عمل خاص بالمهمة — خطة حل توازن بين قدرات الوكيل نفسه وإمكانية التحكم في تنفيذه. ثم تُصاغ هذه الخطة رسمياً ضمن مخطط Lean4 موحّد، وتُوضَّح المستويات الثلاثة جميعها داخل نظام واحد. تتيح هذه الصياغة الرسمية التحقق من سلوك الوكيل ضمن نظام مشترك، مما يضمن الاتساق المنطقي للإجراءات.
يستخدم التدريب نسخة معدّلة من خوارزمية GRPO مع تسوية حسب مراحل سير العمل (workflow-stage-normalized GRPO). وبدلاً من معالجة كل خطوة بشكل منفصل، توزّع الخوارزمية الفضل بين المراحل القابلة للمقارنة في محاولات مختلفة. وهذا يرفع كفاءة التدريب بشكل كبير، لأن الوكيل يحصل على معلومات أكثر دقة حول المراحل والإجراءات التي تساهم فعلاً في النجاح.
LAR-9B وLAR-27B: نتائج معايير الأداء
باستخدام Lean4AgenticRL، درّب الباحثون عائلتين من النماذج:
• LAR-9B (نموذج بـ 9 مليارات معامل) • LAR-27B (نموذج بـ 27 مليار معامل)
ونتائج الاختبار مثيرة للإعجاب:
• حقق LAR-27B نسبة 77.3% على TerminalBench-2.1 • حقق LAR-27B نسبة 84.2% على SWE-Bench-Verified • تتفوق نماذج عائلة LAR كلاهما على النموذج الأساسي بمعدل 9.89% • يتفوق LAR-27B على أفضل نظير معروف من حجم مماثل بنسبة 5.07%
تُظهر هذه النتائج إمكانية دمج الأساليب الرسمية في التعلّم التعزيزي المفتوح للوكلاء. ويبيّن Lean4AgenticRL أن التوضيح الأكثر تفصيلاً للعملية، إلى جانب التحقق الرسمي، قادران على تحسين جودة عمل الوكلاء بشكل كبير في مهام الهندسة المعقّدة.
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ثلاثة مستويات للتوضيح بدلاً من مستوى واحد؟
تعتمد المناهج الحالية بشكل أساسي على مكافآت عالية المستوى مرتبطة بالنتيجة النهائية، وتتجاهل تقريباً المعلومات المتعلقة بالسلوك منخفض المستوى عند استدعاء الأدوات وبالتقدّم متوسط المستوى عبر مراحل سير العمل. يحلّ Lean4AgenticRL هذه المشكلة بإضافة ثلاثة مستويات مكافآت مترابطة: مكافأة النتيجة (outcome reward) — تقييم نجاح النتيجة النهائية للمهمة مكافأة مرحلة سير العمل (workflow-stage reward) — تقييم التقدّم في كل مرحلة من تنفيذ الخطة مكافأة سلوك الأدوات (tool-call reward) — تقييم صحة استدعاءات الأدوات والوظائف الخارجية
ما أبرز التفاصيل حول الصياغة الرسمية عبر Lean4 كأساس للتحقق؟
يبدأ الإطار ببناء سير عمل خاص بالمهمة — خطة حل توازن بين قدرات الوكيل نفسه وإمكانية التحكم في تنفيذه. ثم تُصاغ هذه الخطة رسمياً ضمن مخطط Lean4 موحّد، وتُوضَّح المستويات الثلاثة جميعها داخل نظام واحد. تتيح هذه الصياغة الرسمية التحقق من سلوك الوكيل ضمن نظام مشترك، مما يضمن الاتساق المنطقي للإجراءات. يستخدم التدريب نسخة معدّلة من خوارزمية GRPO مع تسوية حسب مراحل سير العمل (workflow-stage-normalized GRPO). وبدلاً من معالجة كل خطوة بشكل منفصل، توزّع الخوارزمية الفضل بين المراحل القابلة للمقارنة في محاولات مختلفة. وهذا يرفع كفاءة التدريب بشكل كبير، لأن الوكيل يحصل على معلومات أكث
ما أبرز التفاصيل حول LAR-9B وLAR-27B: نتائج معايير الأداء؟
باستخدام Lean4AgenticRL، درّب الباحثون عائلتين من النماذج: LAR-9B (نموذج بـ 9 مليارات معامل) LAR-27B (نموذج بـ 27 مليار معامل) ونتائج الاختبار مثيرة للإعجاب: حقق LAR-27B نسبة 77.3% على TerminalBench-2.1 حقق LAR-27B نسبة 84.2% على SWE-Bench-Verified تتفوق نماذج عائلة LAR كلاهما على النموذج الأساسي بمعدل 9.89% يتفوق LAR-27B على أفضل نظير معروف من حجم مماثل بنسبة 5.07% تُظهر هذه النتائج إمكانية دمج الأساليب الرسمية في التعلّم التعزيزي المفتوح للوكلاء. ويبيّن Lean4AgenticRL أن التوضيح الأكثر تفصيلاً للعملية، إلى جانب التحقق الرسمي، قادران على تحسين جودة عمل الوكلاء بشكل كبير في
Delegate Deep Research, Coding & Multi-Step Workflows to Nomad Agent
Deploy autonomous task execution with Nomad Agent (agent.nomadnet.ai) — automated web research, data synthesis, code generation, and MCP tool orchestration.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.