EmbodiedLab: اختبار الروبوتات على تجارب علمية، وأفضلها حلّ أقل من نصفها

قدّم باحثون من HexaFuture، ومن بين مؤلفيهم Hongcheng Gao وBryan Hooi وYinpeng Dong وWentao Zhang، معيار EmbodiedLab. وهو معيار للوكلاء المجسَّدين، يُطلب منهم فيه إجراء تجربة بأنفسهم واستخلاص معرفة منها. تضم المجموعة 30 تجربة كمّية من خمسة تخصصات علمية على 14 منظومة مختبرية. وحتى أقوى الوكلاء الستة الذين خضعوا للاختبار يحلّ أقل من نصف المهام عند التحكم الأصلي.

أن تعرف لا أن تنقل

تختبر معظم معايير الروبوتات القدرة على تغيير العالم: التقاط كوب، أو فتح درج، أو رصّ مكعبات. وحالة الهدف فيها معروفة مسبقًا، وكل ما على الوكيل هو بلوغها. أما معايير الاكتشاف العلمي فتختبر المعرفة، لكنها تستبدل التجربة الفيزيائية بإجراءات رمزية أو استعلامات رقمية. فالوكيل يستدعي دالة ويتلقى رقمًا، ولا يتعامل مع جهاز حقيقي.

يسدّ EmbodiedLab الفجوة بين هذين النهجين. يتلقى الوكيل الهدف ووصف المنظومة. ثم يختار الإجراء بنفسه، ويتحكم بالروبوت في محاكٍ فيزيائي للمختبر، ويقرأ قراءات الأجهزة عبر الكاميرات. وتغيير الحالة الفيزيائية هنا وسيلة لا غاية: يحرّك الوكيل النظام، ويراقب استجابته، ويستكشفه حتى يصل إلى المطلوب، كقانون فيزيائي مثلًا.

كيف تُصمَّم امتحانات نزيهة

المشكلة الرئيسية في اختبار كهذا أن الإجابة يجب ألا تكون موجودة في بيانات التدريب. وقد عالجها المؤلفون عبر التجارب الكمّية: تُعاد عيّنة معاملات النظام لكل نسخة من المهمة. فلا يمكن استذكار النتيجة أو تخمينها، لكن يمكن تقييمها بدقة.

يفحص التقييم أمرين:

• ما توصّل إليه الوكيل في النهاية، على أن تستند إجابته إلى قراءات سُجّلت خلال الحلقة؛ • هل تحققت الحالة الفيزيائية التي تتطلبها المهمة.

كما جرى التحقق من قابلية كل تجربة للحل، فلا يمكن تفسير الفشل بخلل في المهمة نفسها.

ست نماذج وثلاثة أنماط

شغّل المؤلفون ست نماذج متقدمة داخل وكلاء البرمجة التابعين لمطوّريها. وجرى اختبار كل نموذج في ثلاث تهيئات:

• ملاحظة وتحكم أصليان، دون إضافات؛ • مع وحدة مضافة للإدراك وتخطيط الحركات؛ • مع مهارات يدوية مستخلصة من أقوى الوكلاء.

عند التحكم الأصلي، لا ينجح حتى أفضل وكيل إلا في أقل من نصف التجارب. وفي حالة الوكلاء الستة جميعًا، لا يرتبط معظم الإخفاق بالاستدلال، بل بالتفاعل مع المنظومة نفسها: إصابة النقطة المطلوبة بالذراع، والتعامل الصحيح مع الجهاز، وانتظار استقرار حالة النظام، وأخذ القراءة. فقد يفهم النموذج أي تجربة ينبغي إجراؤها، ومع ذلك لا يتمكن من إتمامها.

وثمة ملاحظة أخرى عمّا يفيد فعلًا. فالمهارات اليدوية المستمدة من أقوى الوكلاء تمنح النماذج الأضعف أكثر مما يمنحه إدراك مضاف وتخطيط للحركات. ويبدو أن عنق الزجاجة يكمن في إتقان الأساليب التشغيلية، لا في رؤية المشهد بصورة أفضل أو حساب المسارات.

لمن هذا الاختبار

يقدّم EmbodiedLab لمطوّري الوكلاء مقياسًا لم يكن متاحًا من قبل: القدرة على إغلاق دورة «فرضية — فعل — ملاحظة — استنتاج» في بيئة فيزيائية. وهذه القدرة مطلوبة في أتمتة المختبرات وفي المساعدين المستقلين في العلوم. وبالنسبة إلى الفرق التي تبني أنظمة كهذه، تشير النتيجة إلى الأولوية: قبل تعزيز قدرات الاستدلال، يجدر الاستثمار في تحكم موثوق بالأجهزة وفي مكتبات المهارات اليدوية.

المعيار وشيفرة التقييم متاحان على GitHub في مستودع HexaFuture/EmbodiedLab، ما يتيح تشغيل نماذج ووكلاء جدد على التجارب الثلاثين نفسها ومقارنتها بالأنظمة الأساسية الستة. وقد نُشر البحث على arXiv تحت الرقم 2610.35385. ويبقى القيد واضحًا: كل شيء يجري في المحاكاة، وسيحتاج الانتقال إلى المختبرات الحقيقية إلى تحقق منفصل. لكن بوصفها أداة تشخيص لمواضع إخفاق الوكلاء المجسَّدين، تبدو المجموعة مفيدة.