بعد الضبط بالتعلم المعزز عبر CaPtain: نموذج Qwen3.5-4B يحل 73,8% من مهام LIBERO مقابل 0% للنموذج الأساسي

نشرت مجموعة MMLab في الجامعة الصينية في هونغ كونغ، بالتعاون مع NovaXBot، مشروع CaPtain، وهو خط مفتوح لمرحلة ما بعد التدريب يحوّل نموذجًا مفتوحًا صغيرًا من نوع vision-language إلى وكيل من طراز code-as-policy. يعتمد هذا الوكيل على صور الكاميرات، ويكتب شيفرة Python فوق واجهات API للإدراك والحركة، ثم يقرأ ما حدث فيزيائيًا. لا يحل نموذج Qwen3.5-4B الأساسي في هذا الإعداد أي حلقة (episode) من LIBERO. أما بعد SFT والتعلم المعزز متعدد الخطوات، فيصل CaPtain-4B الناتج إلى 73,8% على العينة المحجوزة من هذا الاختبار. ونشر المؤلفون الشيفرة والبيانات والأوزان.

لماذا لم تتحكم النماذج الصغيرة بالروبوت عبر الشيفرة حتى الآن

تتعامل النماذج الرائدة (frontier) المزودة بإطار شيفرة مع المناولة بكفاءة بالفعل. وبحسب الورقة البحثية، يحل GPT-6 Astra في هذا النمط 94,0% من حلقات LIBERO-PRO (نسخة من LIBERO بأجسام وتخطيط وتعليمات مغيَّرة). لكن لهذا النهج ثمنًا: فمثلًا يحقق OpenRUA نتيجة 91,8 على LIBERO-PRO بكلفة $8–22 للحلقة الواحدة. ولا يمكن إعادة تدريب وكيل كهذا لروبوت جديد، ولا تشغيله على حاسوب مدمج على متن الروبوت.

الحلول البديلة محدودة أيضًا. فبعض الأنظمة تُسند المناولة إلى نموذج VLA مجمّد أو إلى مهارات جاهزة مثل grasp وplace. تختار الشيفرة هنا أي مهارة تُستدعى، أما مكان الإمساك وكيفيته فتقررهما المهارة نفسها. وفي أفضل الأحوال، يتعلم RL في هذا المخطط ترتيب تسلسل الاستدعاءات فقط.

حزمة Harness من 22 دالة بدائية وناقد يصل إلى الفيزياء

يمنح CaPtain-Harness الوكيل دوال منخفضة المستوى فقط: 22 دالة بدائية (primitive) للإدراك والقياسات الهندسية والحركات المحروسة. يوفّر SAM 3 الأقنعة والنقاط، وتقبل الحركة وضعية صريحة للمنفّذ الطرفي أو أمرًا بإغلاق الماسك. لا توجد مهارات جاهزة ولا VLA، لذا تختار السياسة بنفسها اتجاه الاقتراب ولحظة إغلاق الماسك. ويعيد كل استدعاء تقريرًا نصيًا: الوضعيات المقيسة، وقوة التلامس، وسبب توقف الحركة.

تتألف الحلقة من 60 طلبًا كحد أقصى. ويُقتطع سجل التفاعل: يبقى في السياق آخر 12 صورة، ولا أكثر من 20 سطرًا من التقارير لكل خلية. وعند ضغط السجل تُحفظ متغيرات جلسة Python، فلا تضيع الوضعيات المكتشفة ولا الدوال المساعدة. ويعمل المنطق نفسه في التدريب وفي الاختبار.

ينقسم التدريب إلى مرحلتين. أولًا SFT على مسارات ولّدها GPT-6 Astra بالصيغة متعددة الخطوات نفسها. ثم RL متعدد الخطوات. وتكمن الصعوبة الرئيسية هنا في إسناد الفضل (credit assignment): فالنتيجة لا تُعرف إلا في نهاية الحلقة، بينما يظهر أثر الإمساك بعد عدة خطوات. لذلك أضاف المؤلفون ناقدًا فيزيائيًا. يقرأ هذا الناقد الحالة المميّزة للمحاكي (الوضعيات الدقيقة للأجسام، وحالة الماسك، وتقدم الأهداف الفرعية)، وهي حالة لا تراها السياسة. ويمنح الناقد كل طلب رصيدًا بحسب مقدار تغييره لاحتمال النجاح المتوقع. أما الطلبات التي تكتفي بالنظر أو التحقق فتحصل على قيمة قريبة من الصفر، ويتركز الرصيد على الإمساك والوضع. وفي الاختبار يُعطَّل الناقد، وتعتمد السياسة على الكاميرات والتقارير فقط.

النتائج وحدود التطبيق

• LIBERO: 0% للنموذج الأساسي، و55,4% بعد SFT، و73,8% بعد RL.
• LIBERO-PRO: 78,5%، أعلى من عدة وكلاء مبنيين على نماذج رائدة. ويتراوح مكسب RL عبر ثلاث مجموعات اضطراب من 17,6 إلى 21,2 نقطة.
• أضاف RL إلى نموذج SFT ما مقداره 19,4 نقطة عبر أربع مجموعات من LIBERO-PRO. أما AgenticRoboRL، الذي يعمل فيه RL فوق VLA مجمّد، فمكسبه 5,9 نقطة، مع أن نقاط البداية في النظامين مختلفة.
• SimplerEnv WidowX: 83,3% دون تدريب على المجال المستهدف.
• CaP-Bench: 75,0 نقطة، أعلى من النماذج الرائدة ومن نموذج برمجة بحجم 7B دُرّب بـ RL على هذا الاختبار.
• على روبوت حقيقي ينفّذ النموذج المهام بعد التكيّف في توأم محاكاة تقريبي فقط.

وللمقارنة، يورد المؤلفون سياسات شاملة (end-to-end). تنخفض إحداها من 97% على LIBERO العادي إلى 12.8% على LIBERO-PRO. ويعطي التدريب اللاحق بـ RL لنموذج RIPT-VLA على LIBERO-Plus نتيجة 68,4 مقابل 69,6 لنموذج OpenVLA-OFT الأساسي. أما لدى CaPtain فقد تحسنت جميع أبعاد الاضطراب السبعة في LIBERO-Plus.

ويذكر المؤلفون القيود بأنفسهم. ففي RoboTwin 2.0، الذي يتطلب تنسيقًا بين ذراعين، لا يتجاوز النجاح 22,6%. وفي RoboDojo، بحركيات ذراع غير مألوفة، يبلغ 0,8%. ولا يعمل الناقد إلا في المحاكاة، لذا فالطريقة لا تصلح للمهام التي لا يتوفر لها نموذج محاكاة جيد.

الخلاصة العملية لمهندسي الروبوتات: يمكن تدريب المناولة عبر دوال بدائية منخفضة المستوى بالوصفة نفسها المستخدمة مع وكلاء الشيفرة، أي SFT ثم RL متعدد الخطوات. وينتج عن ذلك سياسة بحجم 4B تكلف جزءًا صغيرًا من كلفة الوكلاء الرائدين، وتعمل دون VLA في الاختبار. وتتوفر بالفعل أوزان وبيانات مفتوحة للتحقق من النهج على روبوتات أخرى.