OGPO تعلّم نماذج VLA العودة إلى الهدف بعد الإخفاق دون ضبط إضافي عبر التفاعل المباشر

نشرت مجموعة من الباحثين على arXiv أسلوب OGPO (Offline Goal-conditioned Policy Optimization) لمرحلة ما بعد التدريب في نماذج vision-language-action. وتقوم الفكرة على التوقف عن تعليم الروبوت تكرار كل فعل يؤديه الخبير، وتعليمه بدلًا من ذلك بلوغ الحالات المفصلية للمهمة. وتبقى البيانات على حالها، أي عروض توضيحية غير متصلة بالإنترنت (offline)، ولا حاجة إلى تشغيلات إضافية على الروبوت أو في المحاكي. واختُبر الأسلوب على مجموعتي بيانات قياسيتين هما LIBERO وMetaWorld، وعلى اختبارين للمتانة، من بينهما المعيار الجديد LIBERO-ReAct. ولا يتضمن ملخص الورقة أي مكاسب رقمية محددة، ولذلك لا يمكن تقدير حجم التحسن حتى الآن.

أين يفشل الضبط الدقيق المعتاد

يقتصر ما بعد التدريب في نماذج VLA اليوم في الغالب على الضبط الدقيق الخاضع للإشراف (supervised fine-tuning) على المسارات. يرى النموذج إطارًا من الكاميرا والتعليمة وحالة الروبوت، ثم يتنبأ بالفعل الذي نفذه المشغّل البشري في تلك النقطة. وهذا يكفي لتعلّم الحركات المقبولة، لكن في النهج انحيازًا بنيويًا: فالسياسة ترتبط بمسارات بعينها من العروض التوضيحية.

ما دام كل شيء يسير وفق السيناريو المسجّل، فلا مشكلة. أما إذا تحرك الجسم عن موضعه، أو انزلقت القبضة، أو انحرفت الذراع عن قوسها المعتاد، فيجد النموذج نفسه في حالة لم ترد في بيانات التدريب. وليس لديه ما يرشده إلى كيفية العودة إلى مسار التقدم في المهمة، إذ لم يُعرض عليه سوى ما يجب فعله على المسار المرجعي، لا كيفية الرجوع إليه.

ما الذي يغيّره OGPO

يعيد المؤلفون النظر في دور العروض التوضيحية. فكل مسار يُوسَم بصورة تكيفية بحالات مفصلية دلالية، أي نقاط وسيطة تعكس التقدم نحو الهدف: الجسم ممسوك، الغطاء مرفوع، الغرض مُلتقط. ثم تُبنى مكافآت عملية موجهة نحو الهدف (goal-conditioned process rewards)، وتُحسَّن السياسة بحيث تبلغ هذه الحالات تحديدًا.

وبذلك ينتقل ما بعد التدريب في جوهره من محاكاة الأفعال إلى تعلّم إمكانية بلوغ الحالات المفصلية. تتعلم السياسة إنجاز المهمة انطلاقًا من حالات مقبولة تقع خارج نطاق العروض التوضيحية. وكل ذلك يجري دون اتصال بالبيئة (offline)، فلا الروبوت الحقيقي ولا المحاكي يشاركان في حلقة التدريب. وهذا مهم في الروبوتات، لأن التدريب المباشر (online) لنماذج VLA مكلف وبطيء وغير آمن على العتاد الفيزيائي.

كيف جرى الاختبار

يفيد المؤلفون بما يلي:

• على LIBERO وMetaWorld يحسّن OGPO جودة السياسة باستمرار مقارنة بالضبط الدقيق الخاضع للإشراف المعتاد؛
• على LIBERO-Plus يُظهر الأسلوب متانة أكبر أمام انزياحات التوزيع؛
• على LIBERO-ReAct، وهو معيار جديد تُدخَل فيه اضطرابات في منتصف تنفيذ المهمة، يعود OGPO إلى الهدف بصورة أفضل انطلاقًا من حالات خارج نطاق العروض التوضيحية؛
• لا يلزم أي تفاعل مباشر إضافي في أي مرحلة.

ويستحق LIBERO-ReAct اهتمامًا خاصًا. فمعظم المعايير تقيس النجاح عند بداية نظيفة، أما هنا فيُدخَل الإخفاق في منتصف الحلقة ويُنظر هل يستطيع النموذج التعافي. وهذا أقرب إلى التشغيل الفعلي، حيث لا وجود لظروف مثالية.

ما الذي ينبغي التحقق منه قبل الاستخدام

ما زال هذا العمل نسخة أولية (preprint)، ولم تخضع النسخة v1 لمراجعة الأقران. ولا يتضمن الملخص أرقامًا مطلقة ولا أحجام النماذج ولا تكاليف الوسم ولا مقارنة بالأساليب التي تستخدم التعلم المعزز المباشر (online RL)، ولذلك ينبغي ألا تُستخلص أي استنتاجات عن التفوق إلا بعد قراءة الورقة الكاملة وجداولها.

وعلى الفريق الذي يضبط نماذج VLA على عروضه التوضيحية الخاصة أن ينتبه إلى ثلاثة أمور. أولًا، كيف تُختار الحالات المفصلية بالضبط وإلى أي حد يتم ذلك تلقائيًا، فعلى ذلك تتوقف تكاليف تحضير البيانات. ثانيًا، هل ينتقل الأسلوب من مجموعات المحاكاة LIBERO وMetaWorld إلى أذرع مناورة حقيقية ذات حساسات مشوَّشة. ثالثًا، يحسن أن يضيف الفريق إلى التحقق الخاص به اختبارات تُدخل اضطرابًا في منتصف الحلقة، على غرار LIBERO-ReAct. وحتى من دون OGPO، سيُظهر ذلك مدى اعتماد سياستكم على المسار المرجعي.