WorldBridge ترفع نسبة نجاح مهام الروبوت من 25,07% إلى 70,70% في RoboTwin 2.0

اكتشف باحثو WorldBridge ما الذي يساعد الروبوت على تنفيذ مهام لم ترد في تدريبه، وبنوا نموذجهم الخاص على أساس هذا الاستنتاج. في اختبار المحاكاة RoboTwin 2.0، بلغت نسبة نجاح تنفيذ المهام الجديدة (أي out-of-distribution، أي خارج مجموعة التدريب) 25,07% دون بيانات إضافية. وبعد إضافة فيديوهات هذه المهام دون وسوم للأفعال ارتفعت النسبة إلى 55,90%، ومع عرض توضيحي واحد موسوم لكل مهمة ارتفعت إلى 70,70%. والحديث هنا عن World Action Models (WAM)، وهي نماذج تتنبأ أولًا بكيفية تغيّر المشهد في الفيديو، ثم تحوّل هذا التنبؤ إلى أوامر للذراع الروبوتية.

ما الذي قدّمه الفيديو وما الذي قدّمته الأفعال

فصل الباحثون بين مهارتين. الأولى تعميم الفيديو، أي القدرة على التنبؤ بالكيفية التي ينبغي أن تتطور بها مهمة غير مألوفة. والثانية تعميم الأفعال، أي القدرة على تحويل هذا التنبؤ إلى حركات قابلة للتنفيذ. ويتولى هذا التحويل «جسر» من الفيديو إلى الفعل يعمل كنموذج للديناميكا العكسية (inverse dynamics model، أو IDM): فهو يستعيد من تغيّر الإطارات الحركة التي أدت إليه.

إذا دُرّب النموذج على أزواج «فيديو مع أفعال» من مجموعة المهام الأصلية فقط، فإنه ينجح في المهام الجديدة في 25,07% من الحالات. أما فيديوهات المهام الجديدة دون وسوم للأفعال فترفع النسبة إلى 55,90%. وإذا أُضيف إليها عرض توضيحي واحد فقط مرفق بالأفعال لكل مهمة جديدة، تصل نسبة النجاح إلى 70,70%.

ويفسّر الباحثون النتيجة بأن الجسر المدرَّب على المهام الأصلية يعرف بالفعل كيف يحوّل الانتقالات البصرية إلى حركات. فالفيديو يوسّع مجموعة الانتقالات التي يستطيع النموذج التنبؤ بها، بينما تجعل الأمثلة الموسومة النادرة الجسرَ نفسه أدق.

كيف صُمم النموذج

يقوم WorldBridge على بنية Mixture-of-Transformers: فيه خبيران منفصلان، أحدهما للفيديو والآخر للأفعال، ولكل منهما معاملاته الخاصة. يتبادل الخبيران المعلومات عبر الانتباه الذاتي المشترك، ويتدربان بدالة خسارة مشتركة هي flow matching. ويتولى مشفّر النصوص T5 ترميز التعليمات المكتوبة باللغة الطبيعية، بينما يرمّز الملاحظات مشفّر الفيديو VAE.

أبرز القرارات التصميمية:

• قناع انتباه منظّم. تنتقل المعلومات من السياق المرصود إلى الفيديو المستقبلي، ومنه إلى الأفعال، ولذلك تتحكم ديناميكا المشهد المتنبَّأ بها في الحركة بشكل صريح.
• ذاكرة بصرية بمقياسين. تحتفظ الذاكرة قصيرة المدى ببيانات الحركة المحلية، وتحتفظ الذاكرة طويلة المدى ببيانات سير تنفيذ المهمة.
• Action forcing. عند تدريب الأفعال تُعيَّن داخل الكتلة مستويات ضوضاء مستقلة، فيتعلم النموذج التنبؤ بها انطلاقًا من سياق بدرجات متفاوتة من التشويه.

البيانات والنتائج

لمرحلة التدريب المسبق بنى الباحثون خط معالجة بيانات موحدًا. تُحوَّل مسارات حركة روبوتات مختلفة والعروض الأنثروبوسنترية (egocentric) بأيدي البشر إلى تمثيل مشترك للأفعال ذي 46 بُعدًا. وتحافظ أقنعة الصلاحية على مستوى الأبعاد على الوسم الجزئي عندما يفتقر المصدر إلى بعض إشارات التحكم. وتخضع مسارات الروبوتات لفحوص الاتساق الحركي (الكينماتيكي) والزمني، أما مسارات الأيدي فتُحوَّل إلى نظام إحداثيات موحد وتُرشَّح وفق القيود الهندسية ومعاملات الحركة.

بحسب الباحثين، يحقق WorldBridge أفضل نتيجة بين الطرق المقارنة في عدة اختبارات: 96,23% في RoboTwin 2.0 مع مجموعة البيانات الكاملة، و80,9% في نمط C2R (clean to random، أي من المشاهد النظيفة إلى العشوائية)، و82,8% في RoboCasa GR1 TableTop، و57,6% في DOMINO Level-1. وفي RMBench يعادل النموذج أفضل نتيجة في المقارنة، وهي 83,0%. وجرى التقييم أيضًا على SimplerEnv-WidowX وRoboDojo.

ودُرّبت نقطة التحقق (checkpoint) المسبقة التدريب نفسها تدريبًا إضافيًا لمنصتين حقيقيتين هما AgiBot G2 وARX AC-1. واختُبرت عليهما تسلسلات الأفعال الطويلة، والمهام التي تتطلب ذاكرة، والتموضع المكاني، والعمل بذراعين.

الأرقام 25,07% و55,90% و70,70% جرى الحصول عليها في المحاكاة، أما عبارة «أفضل من النظائر» فتخص فقط الطرق التي اختارها الباحثون للمقارنة. والاستنتاج العملي للفرق التي تجمع بيانات للروبوتات: ينبغي إعطاء الأولوية لجمع فيديوهات المهام الجديدة دون وسم، وإنفاق ميزانية وسم الأفعال المحدودة على عرض توضيحي واحد لكل مهمة.