تدريب Ropedia W0 على 10 آلاف ساعة من فيديو البشر و3 آلاف ساعة من بيانات الروبوتات

دُرّب Ropedia W0 على 13 ألف ساعة من البيانات: 10 آلاف ساعة من الفيديو البشري من منظور الشخص الأول (egocentric) و3 آلاف ساعة من تسجيلات الروبوتات. وبحسب المؤلفين، هذا أول foundation world model يحاكي معًا التنقل والتلاعب بالأشياء لدى البشر والآلات ذات التشكيلات الجسدية المختلفة. حقق النموذج أفضل النتائج في خمسة اختبارات معيارية عابرة للتجسيد، وبعد التقطير يولّد تنبؤات تمتد لدقائق في الزمن الحقيقي، وهذه السرعة كافية للعمل التفاعلي في VR.

المشكلة التي يعالجها الباحثون مألوفة لكل من يعمل في مجال الذكاء الاصطناعي المجسَّد. فالـ world model يجب أن يتنبأ بعواقب أفعال الوكيل. وتختلف فضاءات الأفعال لدى الإنسان والمناوِل ذي العجلات والروبوت الشبيه بالبشر، كما أن البيانات متعددة الوسائط التي يوصَف فيها المشي والعمل باليدين معًا قليلة. وعادةً تُفصل هذه المهام: التنقل على حدة والإمساك على حدة. وهذا النهج غير مريح في السيناريوهات الطويلة مثل «الوصول إلى الطاولة، وأخذ غرض، ونقله».

لغة حركة موحّدة ومجموعة بيانات Xp-Data

في W0 تُحوَّل أفعال الأجسام المختلفة إلى تمثيل حركي موحّد. يُرمَّز التنقل بأوضاع الكاميرا، وتُرمَّز المناورات اليدوية بهياكل عظمية لليدين والجسم مُسقَطة على الصورة. وفي حالة الروبوتات تُستخرج هذه الهياكل من الكينماتيكا الأمامية للمنصة المعنية، ثم تُستكمل بترميز يدوي للنقاط المفصلية يعقبه تصحيح. هذا الجزء مرهق، لكنه هو ما يوائم بين بيانات البشر والآلات.

جُمعت Xp-Data بترميز موحّد متعدد الوسائط وضبط منهجي للجودة. كما يطلق المؤلفون على حدة الاختبار المعياري Xp-Teleop لمهام loco-manipulation الطويلة، وهو مبني على تشغيل عن بُعد عالي الجودة (teleoperation) لروبوتات شبيهة بالبشر بارعة اليدين.

أبرز المعاملات من وصف العمل:

• Xp-Data: 10 آلاف ساعة من بيانات البشر من منظور الشخص الأول و3 آلاف ساعة من بيانات الروبوتات؛
• تمثيل الأفعال: أوضاع الكاميرا للحركة، وهياكل عظمية مُسقَطة للمناورات اليدوية؛
• التقييم على خمسة اختبارات معيارية: DreamDojo وΨ_0 وω-HOME وXp-Teleop وAgiBot، إضافةً إلى فيديو بشري محجوز للتقييم؛
• أنماط الاختبار: zero-shot وfew-shot وما بعد التدريب (post-training) على البيانات الكاملة؛
• بعد التقطير: تنبؤات تمتد لدقائق في الزمن الحقيقي وتفاعل مباشر في VR.

البشر مصدرًا للتوسّع

أهم استنتاج عملي يخص البيانات. فزيادة حجم البيانات البشرية في مرحلة التدريب المسبق (pretraining) تحسّن المقاييس لا في التقييمات البشرية فقط، بل في تقييمات الروبوتات أيضًا. وجمع الفيديو البشري من منظور الشخص الأول أرخص بأضعاف من التشغيل عن بُعد للروبوتات الشبيهة بالبشر. فإذا كان النقل بين الأجسام يعمل فعلًا عند هذه الأحجام، فإن عنق الزجاجة في الذكاء الاصطناعي المجسَّد ينتقل من مجموعات بيانات الروبوتات المكلفة إلى الترميز وضبط الجودة.

ويستحق الربط بالزمن الحقيقي اهتمامًا أيضًا. فالنماذج العالمية الكبيرة (world models) تكون عادةً أبطأ من أن تصلح للاستخدام التفاعلي. أما هنا فالنسخة المقطَّرة تحتفظ بالسيناريوهات الممتدة لدقائق دون تراجع في الجودة يذكره المؤلفون، وتتيح للمستخدم في VR أن يراقب العالم المتنبَّأ به أو يؤثر فيه. وفي تقييم السياسات (policies) والمحاكاة، تحدد هذه السرعة ما إذا كان ممكنًا إجراء آلاف التجارب دون معدات حقيقية.

تنبيه: هذه نتيجة مستمدة من الملخص (annotation) المنشور. يذكر المنشور التفوق في الاختبارات المعيارية، لكنه لا يتضمن معلومات عن إتاحة الأوزان والشيفرة. كما أن ادعاء «الأول في فئته» صادر عن المؤلفين أنفسهم. أما أرقام المقاييس المنفردة ودراسات الاستئصال (ablations) فيجب التحقق منها من النص الكامل.

أين سيفيد ذلك أولًا

يعرض المؤلفون ثلاثة سيناريوهات تطبيقية: تقييم السياسات، والتخطيط القائم على النموذج، وworld-action modeling. وبالنسبة إلى الفرق التي تدرّب روبوتات شبيهة بالبشر، فإن أكثرها ملموسية هو تقييم السياسات داخل world model: إذ يمكن استبعاد الخيارات الضعيفة قبل تشغيلها على العتاد. أما من يجمعون البيانات فيجدر بهم التمعّن في المخطط نفسه: فالتمثيل الحركي الموحّد والتصحيح اليدوي لهياكل الروبوتات العظمية يصبحان خطوة إلزامية إذا كان الهدف خلط بيانات البشر والآلات. وإذا نشرت Ropedia المعيار Xp-Teleop، فقد يصبح اختبارًا مفيدًا للمهام الطويلة التي يجري فيها المشي والعمل باليدين في تدفق واحد.