TARSphere يختبر روبوتات بدماغ MLLM عبر 360 حلقة في 30 مشهدًا

أصدر فريق TARSphere حزمة برمجية متكاملة لتقييم الروبوتات التي تتحكم بها نماذج لغوية متعددة الوسائط، في عالم تتغير فيه البيئة ويغيّر فيه البشر آراءهم. يقوم المشروع على معيار TARSphere-Bench: 360 حلقة في 30 مشهدًا داخليًا، وخمسة شروط اختبار مزدوجة، ومهمتان أساسيتان هما «اذهب وأبلغ» و«ابحث وأوصِل». وقد أظهر اختبار ثمانية نماذج MLLM صورة غير مريحة. فالنماذج العامة قد تتفوق على نماذج embodied المتخصصة، بينما تظل التصادمات والسقطات حدثًا متكررًا حتى حين تتشارك جميع النماذج واجهة الأفعال نفسها وميزانية القرارات نفسها.

محاكٍ يريد فيه البشر أشياء أيضًا

تقيّم معظم الأنظمة الحالية للوكلاء المجسَّدين تنفيذ هدف محدد سلفًا، أو تبسّط الفيزياء إلى أفعال رمزية مثل «التقط الشيء» أو «انتقل إلى الغرفة». أما في الواقع، فيواجه الروبوت في شقة أو مكتب وضعًا مختلفًا: الباب مغلق فجأة، والشخص يطلب تعديل طلبه، وجملة واحدة لا توضح دائمًا ما يريده بالضبط.

لذلك تشغّل الطبقة السفلية، TARSphere-Infra، سياسات الروبوت في محاكٍ فيزيائي. وبجانبها شخصيات NPC مجسَّدة، أي أشخاص افتراضيون يمكن التحدث معهم ضمن حوار محدود. وتُحتسب النتيجة عبر آلة حالات منتهية قائمة على الأحداث (FSM). فهي ترصد الأفعال المكتملة والمعلومات التي جرى تسليمها، وتحدّث حالة المهام، وتصدر الحكم. وتستجيب هذه الآلة لما حدث فعلًا في المحاكاة، لا لوصف الوكيل لنجاحاته.

دماغ على نموذج مجمّد

المكوّن الثاني، TARSphere-Harness، هو «الغلاف الدماغي» للروبوت. لا يُعاد تدريب MLLM المجمّدة لتلائم المهمة. فهي تعمل عبر مهارات قابلة للتنفيذ متعددة المستويات، وتعتمد على ثلاثة مصادر: الملاحظات، والذاكرة الهرمية، والتغذية الراجعة من التنفيذ. وهذا الأخير مهم: يرى النموذج أن فعله لم ينجح، فيراجع قراره.

هذا النهج مناسب للمقارنة. فعندما تتشارك النماذج الثمانية مجموعة المهارات نفسها وميزانية القرارات نفسها، يحدد النموذج نفسه الفارق في النتائج، لا جودة الغلاف. أما المعيار ذاته فقد أُعدّ بمشاركة وكيل: إذ يوفّق agent-in-the-loop curation بين معاني المهام، والاعتماد السببي بين الخطوات، وهندسة المشاهد. وبذلك لا تدخل المجموعة حلقات يتعذر فيها الوصول إلى الشيء فيزيائيًا، أو تتعارض فيها التعليمات مع تخطيط المكان.

أين تتعطل الروبوتات

تختبر الشروط الخمسة المزدوجة جوانب مختلفة من المتانة:

• متانة الإدراك؛
• التكيّف مع الاضطرابات والأعطال؛
• تحديث المهمة أثناء التنفيذ؛
• التنسيق مع الإنسان؛
• فهم النوايا.

أهم استنتاج في التقييم أن MLLM العامة قادرة على التفوق على النماذج المصمَّمة لسيناريوهات embodied. وهذا يضع علامة استفهام على الافتراض بأن الضبط الدقيق الضيق يمنح تلقائيًا روبوتًا أكثر موثوقية. فالمعرفة الواسعة بالعالم والاستدلال القوي في النماذج العامة، بحسب النتائج، تفوق التخصص أهميةً أحيانًا.

نقاط الضعف مشتركة. يبقى تحديث المهمة والتفاعل مع البشر صعبَين على الجميع. فالوكيل الذي يسير جيدًا وفق الخطة يضيع حين تحتاج الخطة إلى إعادة كتابة أثناء التنفيذ، أو حين يلزم توضيح رغبة المحاور. وينبّه المؤلفون بشكل منفصل إلى تكرار التصادمات والسقطات. فتسليم الشيء بنجاح لا يعني الكثير إذا أسقط الروبوت أثاثًا في طريقه.

ما الذي ينبغي تغييره في تقييم الروبوتات

للفرق التي تبني وكلاء على أساس MLLM، يقدّم TARSphere عدة مؤشرات عملية:

• قياس سلامة التنفيذ إلى جانب نسبة المهام المنجزة. فقد يختلف نظامان لهما success rate نفسه اختلافًا حادًا في عدد التصادمات.
• اختبار تغيّر المهام والحوار مع الإنسان بشكل منفصل. فهنا، بحسب نتائج المعيار، تقع معظم إخفاقات النماذج.
• مقارنة النماذج عند ثبات واجهة الأفعال وميزانية القرارات. عندها يتضح ما يقدّمه النموذج نفسه وما يقدّمه الغلاف.
• عدم استبعاد MLLM العامة لصالح نماذج embodied دون اختبارها على سيناريوهاتكم الخاصة.

وثمة قيد أيضًا: كل ذلك يجري في محاكاة، وفي 30 مشهدًا داخليًا، فيما تتحدث شخصيات NPC ضمن حوار محدود. وسيضيف الانتقال إلى العتاد الحقيقي ضجيج المستشعرات، وتآكل الأجزاء الميكانيكية، وعدم قابلية البشر للتنبؤ. لكن بوصفه إطار عمل لمقارنة «أدمغة» الروبوتات قبل خروجها إلى العالم المادي، يبدو TARSphere عمليًا. فهو يدفع إلى النظر لا إلى ما إذا كان الروبوت قد بلغ هدفه فحسب، بل إلى ما فعله في الطريق بالناس والأشياء من حوله.