PhysRSI-eval يقيس كيف يتعلم وكلاء VLM من أخطائهم في 18 مهمة مناولة

اقترح فريق مؤلفي ورقة بحثية على Hugging Face Daily Papers معيار PhysRSI-eval، وهو مجموعة مقاييس لتقييم التحسين الذاتي التكراري الفيزيائي (RSI) لدى الوكلاء المبنيين على VLM. الفكرة بسيطة: تُعطى النموذج 18 مهمة مناولة، ويُحدَّد عدد تفاعلاته مع العالم، ثم تُراقَب كيفية تعلّم الوكيل من إخفاقاته. والخلاصة النهائية لا تناسب التصنيفات المعتادة: فنظامان بمتوسط درجات شبه متطابق في المعايير العامة قد يتصرفان في الحلقة الفيزيائية بطريقتين مختلفتين تمامًا.

خمسة محاور بدل درجة واحدة

يجيب المعيار التقليدي عن سؤال «هل نجح النموذج». أما PhysRSI-eval فيسأل: ما سرعة تحسن الوكيل وإلى أي مدى يستطيع التحسن؟ لهذا جرى تفكيك المقياس إلى خمسة مكوّنات:

• First-Attempt Performance: نتيجة المحاولة الأولى، قبل أي تغذية راجعة؛
• Efficiency: مدى اقتصاد الوكيل في استهلاك المحاولات في طريقه إلى النجاح؛
• Success: النسبة النهائية للمهام المحلولة؛
• Budget: عدد التفاعلات مع البيئة التي لزمت من الحد الثابت المسموح؛
• Improvement from failure: تحسن الجودة بعد جولات الإخفاق.

والمغزى العملي لهذا الفصل أن ارتفاع Success النهائي لا يستلزم بالضرورة تحسنات مبكرة أو فعّالة. فقد يصل الوكيل إلى نتيجة جيدة بعد أن يستنزف الميزانية كلها، وقد يحقق نتيجة معقولة تقريبًا منذ البداية ثم يتوقف. وبالنسبة إلى روبوت حقيقي تكلّف كل محاولة له وقتًا وتآكلًا في المعدات، وأحيانًا أغراضًا مكسورة، فهذان ملفان مختلفان من المخاطر.

فرضية البرميل والتنبؤ انطلاقًا من المحاولات المبكرة

استنادًا إلى نتائج التجارب، يصوغ المؤلفون Physical Barrel Hypothesis. ويشير الاسم إلى برميل ليبيغ: فمستوى الماء يحدده أقصر لوح. واللوحات هنا هي قدرات النموذج، وتحدّ قدرات مختلفة منها من أجزاء مختلفة من التحسن. إحداها مسؤولة عن جودة المحاولة الأولى، وأخرى عن القدرة على استخلاص العبرة من الفشل.

وتُدرس كذلك مسألة التوسع الرصدي (observational scaling) من جانبين. المهمة الأولى: التنبؤ بالأداء النسبي لوكلاء VLM انطلاقًا من قدراتهم المعلنة علنًا. والثانية: توقع التقدم المتأخر انطلاقًا من التغذية الراجعة الفيزيائية المبكرة. ويشكّل الجانبان معًا إجابة عن سؤال: ما سرعة تحسن الوكيل وإلى أي مدى يمكنه التحسن. ولا يتضمن الملخص معاملات محددة ولا بارامترات للعلاقات، لذلك لن يمكن الحكم على دقة التنبؤ إلا من النص الكامل للورقة.

ويتناول الجزء الثاني من الدراسة تدخلات في مساحة عمل الوكيل، أي في ما يبقى بعد جولات التحسين. وكانت النتائج ثلاثًا:

• حذف السجل التاريخي يخفض النجاح في الجولات المتأخرة، أي أن السياق المتراكم يعمل فعلًا؛
• تبقى مساحات العمل المجمّدة مفيدة في تخطيطات المشهد غير المألوفة؛
• في ثلاث حالات عابرة للمهام يتحقق النجاح في وقت أبكر.

ويخلص المؤلفون إلى استنتاج حذر: فالتكيّف مع مشهد بعينه والخبرة القابلة لإعادة الاستخدام قد يتعايشان في آن واحد. بعبارة أخرى، ما يراكمه الوكيل لا «يلتصق» بالضرورة بتخطيط واحد للطاولة.

ما الذي ينبغي أن تختبره الفرق عمليًا

يقدّم البحث للعاملين على بناء روبوتات أو وكلاء قائمين على VLM عدة مؤشرات عملية. أولًا، اختيار النموذج وفق متوسط درجته العامة خطر: قيّموه بحسب ملف المحاور الخمسة على مهامكم أنتم وبميزانية محاولات حقيقية. ثانيًا، إذا كانت الإخفاقات المكلفة حاسمة بالنسبة إليكم، فانظروا إلى First-Attempt Performance وEfficiency، لا إلى Success النهائي وحده. ثالثًا، احتفظوا بالسجل التاريخي ومساحة العمل بين الجولات: فبحسب بيانات المؤلفين، تكون النتائج المتأخرة أسوأ بلا سجل، وتفيد مساحة العمل المجمّدة في التخطيطات الجديدة.

والقيود واضحة أيضًا. فالمهام الـ18 تعطي عينة ضيقة، وما زالت فرضية البرميل أقرب إلى ملاحظة منها إلى قانون مثبت. لكن الطرح نفسه مفيد: فهو ينقل الحديث عن الوكلاء من سؤال «ما مدى ذكاء النموذج» إلى سؤال «كيف يتصرف حين يخطئ».