RoboCasa-Shift: معيار اختبار يكشف أين تتعطل روبوتات VLA في المطبخ

قد يخفي الانخفاض نفسه في متوسط نسبة النجاح أعطالًا مختلفة تمامًا في الروبوت. هذا ما يخلص إليه فريق RoboCasa-Shift، وهو معيار تشخيصي لسياسات VLA (vision-language-action) مبني على محاكي RoboCasa365. اختبر المؤلفون به GR00T N1.5 على أربع مهام مطبخية طويلة وأربعة عوامل اضطراب وثلاثة مستويات معايَرة من الشدة. والحصيلة 1 040 تشغيلًا محتسبًا في التقييم، بينها ظروف أخفقت فيها السياسة في المهمة إخفاقًا كاملًا.

ويوضح مثال بارز سبب الحاجة إلى ذلك. فإزاحة الكاميرا من المستوى L2 والتمويه الغاوسي من المستوى L1 يسببان الانخفاض نفسه في نسبة النجاح، أي ΔSR=0,188. وبحسب المقياس المجمَّع يبدوان توأمين. لكن التحليل المرحلي يُظهر أن السياسة تتعطل في المرحلة الأولى من المهمة في 19,0% من الحالات عند إزاحة الكاميرا، وفي 36,4% عند التمويه. الرقم النهائي واحد، أما مسارات الإخفاق فمختلفة.

تشغيلات مزدوجة بدل مقارنة المتوسطات

تُقيَّم متانة VLA عادةً على النحو التالي: يؤخذ تشغيل نظيف وآخر مضطرب، ثم يُقارَن متوسط معدل النجاح بينهما. المشكلة أن مجموعتي الحلقات لا تختلفان بالإزاحة المستهدفة وحدها، بل أيضًا بالظروف الابتدائية العشوائية. أما RoboCasa-Shift فتصميمه أكثر صرامة. فكل زوج من التشغيلات يستخدم الإعدادات الأساسية نفسها للمشهد، ولا يختلف إلا في الاضطراب قيد الدراسة. والإزاحات هنا مفردة: يتغير عامل واحد فقط، فلا حاجة إلى تخمين سبب التدهور.

ويكشف هذا التصميم أثرًا لا يظهر في المتوسط. فقد أعطى أحد شروط الكاميرا ΔSR=0، أي أن شيئًا لم يتغير شكليًا. لكن النتيجة تغيرت في 8 من 80 حلقة مزدوجة. فبعض المهام التي كان الروبوت ينجزها من قبل صار يفشل فيها، وبعضها الآخر أنجزه فجأة. والرقم المتوسط جمع المكاسب والخسائر ببساطة. وعند النشر تُعدّ هذه الدلتا الصفرية خطرة، لأنها تعطي انطباعًا بالمتانة في حين أن سلوك السياسة غير مستقر فعليًا.

عمق الإخفاق مقياسًا مستقلًا

العنصر الثالث في المعيار هو التشخيص المرحلي المرتبط بحالة المحاكي. تتألف المهمة المنزلية الطويلة من مراحل متتابعة، ويرصد المؤلفون إلى أي مرحلة تصل السياسة قبل أن تتعطل. وهذا يعطي ملف عمق التنفيذ: فقد يتعثر الروبوت منذ الإمساك بالجسم، وقد يصل إلى ما يقارب النهاية ثم يُفسد النتيجة في الخطوة الأخيرة. وبالنسبة إلى المهندس، هذان خللان مختلفان جذريًا ولكل منهما علاجه. فالأول يشير غالبًا إلى مشكلات في الإدراك، والثاني إلى تراكم الأخطاء على امتداد المهمة.

وثمة ملاحظة أخرى: زيادة شدة الاضطراب لا تؤدي دائمًا إلى تدهور منتظم. فقد تكون الإزاحة الأقوى أقل ضررًا على السياسة من الأضعف. ومن هنا يتضح أن منحنى واحدًا يربط «قوة الاضطراب» بالجودة لا يكفي لتقييم VLA.

معطيات الدراسة

• المعيار: RoboCasa-Shift المبني على RoboCasa365
• السياسة المقيَّمة: GR00T N1.5
• المهام: أربعة سيناريوهات منزلية طويلة اجتازت عتبة جودة محددة مسبقًا في الظروف النظيفة
• عوامل الاضطراب: أربعة، لكل منها ثلاثة مستويات معايَرة من الشدة
• الحجم: 1 040 تشغيلًا محتسبًا في التقييم
• المقاييس: انخفاض نسبة النجاح (ΔSR)، وحساسية النتائج في الحلقات المزدوجة، ونسبة الإخفاقات في كل مرحلة
• الشيفرة: مفتوحة على GitHub، مستودع HaochengWang23/RoboCasa-Shift

كيف يتغير اختبار الروبوتات

بالنسبة إلى الفرق التي تُدرّب VLA تدريبًا إضافيًا أو تطبّقها، الخلاصة عملية. فنسبة نجاح واحدة في النهاية لا تكفي، بل يلزم ثلاث طبقات من التقارير على الأقل: التدهور الإجمالي، وعدد الحلقات التي تغيرت نتيجتها مع دلتا متوسطة صفرية، وتوزيع الإخفاقات على مراحل المهمة. الطبقة الأولى تجيب عن سؤال «ما مدى السوء»، والثانية عن «ما مدى عدم الاستقرار»، والثالثة عن «أين يجب الإصلاح».

وشرط اختيار المهام مهم أيضًا. فالمؤلفون لا يسمحون بإدخال المهام في التحليل إلا إذا كانت السياسة تحلّها بثقة دون اضطرابات. وإلا يستحيل التمييز بين هشاشة النموذج وعجزه عن أداء المهمة حتى في بيئة نظيفة. وهذه ممارسة جديرة بالاعتماد عند المقارنة بين نماذج مختلفة.

أما القيود فواضحة كذلك: قُيّمت سياسة واحدة وأربع مهام، وفي المحاكاة فقط. وكيف تنتقل ملفات الإخفاق هذه إلى مطابخ حقيقية ونماذج VLA أخرى، فستجيب عنه أعمال لاحقة. لكن المجتمع البحثي صار يملك أداة مفتوحة تتيح طرح هذه الأسئلة في ظروف متكافئة. وفي الروبوتات، حيث يكون ثمن الخطأ أطباقًا مكسورة أو خط إنتاج متوقفًا، تمثل هذه خطوة مهمة من التصنيفات إلى التشخيص.