باحثون يقترحون إطار PAPAV: 3 فقط من أصل 64 معيارًا اختباريًا تقيس التحقق

عندما ينتقل وكيل متعدد الوسائط من التحكم في المتصفح إلى التحكم في ذراع روبوتية، لا تتغير البيئة وحدها، بل يتغير أيضًا ثمن الخطأ. وتحاول ورقة بحثية جديدة منشورة في Hugging Face Daily Papers وصف هذا الانتقال بلغة موحدة. يقدّم المؤلفون مفهوم الوكلاء المتجسدين متعددي الوسائط (MMEA) ويقترحون إطار PAPAV المؤلف من خمس وظائف. والاستنتاج التجريبي الرئيسي: من بين 64 معيارًا اختباريًا جرى تحليلها، يقيّم 5 فقط القدرة على توقّع عواقب الأفعال، ويتحقق 3 فقط مما إذا كانت النتيجة قد تحققت. أما بقية المعايير تقريبًا فتقيس ما إذا كانت المهمة قد أُنجزت.

ثلاث فئات من الأنظمة وقاسم مشترك

يبدأ المؤلفون بالتمييز بين الفئات. فالوكلاء متعددو الوسائط (MMA) يقيمون تفاعلهم على الاستدلال والذاكرة والأدوات والتغذية الراجعة. وأبرز مثال عليهم الوكلاء الذين يعملون على الحاسوب. أما الأنظمة الروبوتية (RS) فتربط الإدراك بالتنفيذ في ظل الديناميكيات الفيزيائية. وتقع MMEA عند نقطة التقاطع: إنها أنظمة موجَّهة نحو هدف، تجمع بين الاستدلال متعدد الوسائط حول المهمة والفعل الفيزيائي، وتراجع قراراتها بحسب النتيجة.

يبدو السؤال المحوري في الورقة بسيطًا: ما الذي يتغير عندما ينتقل الوكيل من computer-use إلى robot-use؟ وللإجابة، يلزم مقياس مقارنة غير مرتبط ببنية معمارية بعينها. ولهذا يختار المؤلفون الوظائف لا تصميم النموذج.

PAPAV: خمس وظائف بدلًا من مقياس واحد

يُفكّ اختصار الإطار على النحو التالي:

• Perceive: إدراك الحالة الراهنة؛
• Anticipate: توقّع تأثيرات الأفعال؛
• Plan: وضع خطة قابلة للتنفيذ؛
• Act: الفعل عبر واجهة أو عبر جسد؛
• Verify: التحقق من النتيجة.

يتيح هذا التعريف رصد ما تشترك فيه الفئات الثلاث، ثم مقارنة MMEA بالوكلاء MMA التقليديين وبالروبوتات الكلاسيكية. فالوكيل الذي ينقر على الأزرار والذراع الروبوتية في المصنع ينفذان الوظائف الخمس جميعًا. والفرق يكمن في مدى صعوبة كل وظيفة، وفي كلفة الإخفاق فيها.

حيث تسلب الفيزياء حرية الحركة

يحدد المؤلفون خمسة قيود فيزيائية. وتمتد القائمة من الرصد الجزئي إلى النتائج التي يتعذر التحقق منها. والأثر العام واحد: في العالم الفيزيائي يقل عدد القرارات التي يمكن تثبيتها مسبقًا، وتقل كذلك فرص التراجع عن الخطأ. فالنقرة الخاطئة في الواجهة يمكن في الغالب التراجع عنها، أما سقوط جسم من اليد أو حركة خاطئة فلا يمكن التراجع عنهما.

ومن هنا تأتي أهمية وظيفتي Anticipate وVerify. فالوكيل الذي لا يستطيع تقدير العواقب مسبقًا ثم التحقق من النتيجة بأمانة يمثّل خطرًا في البيئة الفيزيائية، حتى مع تخطيط جيد.

ما كشفه تحليل 64 معيارًا

أهم رقم في الورقة يتعلق بحال منظومة التقييم في هذا المجال:

• جرى تحليل 64 معيارًا اختباريًا إجمالًا؛
• التقييم الصريح يتركز على وظيفة Act؛
• 5 معايير فقط تقيّم Anticipate؛
• 3 فقط تقيّم Verify؛
• الوظيفتان كلتاهما تظلان في الغالب متوارتين خلف مؤشر نجاح المهمة النهائي.

والمشكلة أن نجاح المهمة يدمج القدرات الخمس في رقم واحد. فقد ينجز النموذج المهمة بفضل إدراك موفق لا بفضل تنبؤ جيد. وقد يفشل فيها بسبب ضعف التحقق، مع أن الخطة كانت صحيحة. ومن دون قياسات منفصلة يصعب فهم ما تحسّن بين إصدارات النظام وما يجب إصلاحه.

وعلى هذه القيود نفسها يبني المؤلفون قائمة بالمشكلات المفتوحة. ومنها تصميم وكلاء فيزيائيين موثوقين وقياس التقدم عبر القدرات الخمس جميعها.

كيف يُستخدم الإطار عمليًا

للفرق التي تبني وكلاء للروبوتات، تتيح الورقة تطبيقًا عمليًا. فيمكن اعتماد إطار PAPAV قائمةَ تدقيق: تحديد الاختبار الذي يقيس كل وظيفة، ثم رصد الوظائف غير المغطاة. وإذا خلا خط المعالجة من فحص مستقل لنتيجة الفعل، فهذا سبب لإضافته قبل التوسع في النشر.

والخلاصة أشد تحديدًا لمطوري المعايير الاختبارية. فهم بحاجة إلى مهام تقيّم بصورة منفصلة التنبؤ بالعواقب والتحقق من النتيجة، لا النجاح النهائي وحده. أما للمستثمرين والعملاء، فهي مرجع عند مشاهدة العروض التجريبية: فمؤشر إنجاز المهام اللافت لا يكشف بعد كيف يتصرف النظام عندما يتعذر التحقق من النتيجة أو يتعذر التراجع عن الخطأ.

لا تقترح الورقة نموذجًا جديدًا، ولا تعد بتحسن في اختبار بعينه. إنها محاولة لترتيب المصطلحات والمقاييس عند نقطة التقاء الوكلاء بالروبوتات، في وقت تتلاشى فيه الحدود بينهما بسرعة.