بيانات ego تحصل على «الجسد كله»: مسار جديد لتوسيع نطاق نماذج العالم

يحاول جمع البيانات للروبوتات منذ سنوات حل مسألة واحدة: التحرر من الروبوت نفسه. فالمطلوب أن تصبح البيانات أخف وأرخص وأسهل في التوسع. وتصف المجلة الصينية Jiqizhixin (机器之心) الخطوة التالية في هذا المنطق: استكمال التسجيلات المتمركزة حول الذات، المصوَّرة من منظور الشخص الأول، ببيانات عن حركة الجسد كله، واستخدامها مسارًا جديدًا لتوسيع نماذج العالم. ولا يتضمن الجزء المتاح من المادة أي benchmarks، ولا أحجام مجموعات البيانات، ولا اسم نظام محدد. لذلك يعرض هذا النص المنطق الذي تقوم عليه الفكرة، لا نتائجها.

من أين بدأنا: التشغيل عن بُعد وثمنه

تعلّمت الروبوتات في البداية بالتشغيل عن بُعد تقريبًا حصرًا. يتحكم المشغّل في الآلة وينفّذ المهمة، بينما يسجّل النظام حالات المفاصل وحركات المنفّذ الطرفي ومعلومات عن البيئة المحيطة. ولهذا النهج ميزة قوية: يمكن استخدام البيانات فورًا لتدريب سياسة الروبوت. فالأفعال فيها مصاغة أصلًا بلغة الآلة نفسها، ولا حاجة إلى إعادة حسابها.

والثمن واضح أيضًا. فخلف كل ساعة من البيانات روبوت حقيقي ومشغّل ووقت للإعداد. ويتزايد أسطول الروبوتات والمواقع والعاملون بشكل خطي مع حجم البيانات. وهذه الحسابات لا تستقيم في مهمة تتطلب ملايين الساعات من الخبرة المتنوعة.

بيانات ego: رخيصة لكن بلا جسد

من هنا جاء التوجه إلى صيغ أخف: أجهزة التقاط يدوية بلا روبوت، وكاميرات قابلة للارتداء، وفيديو من منظور الشخص الأول. يؤدي الإنسان عمله المعتاد، وتسجّل كاميرا مثبتة على الرأس أو على النظارات ما يجري. وقد أظهرت مجموعات بيانات مماثلة في روحها، مثل Ego4D، أن هذا النوع من الفيديو يمكن جمعه على نطاق واسع وفي مشاهد متنوعة جدًا.

لكن للمنظور الأول نقطة ضعف. فهو يُظهر ما يراه الإنسان والاتجاه الذي تشير إليه يده، لكنه لا يقول شيئًا تقريبًا عن حركة بقية الجسد. وتبقى خارج الكادر وضعية الجذع ونقل الوزن والتنسيق بين اليدين والخطوة. وقد يكفي ذلك للمناولة على سطح طاولة. أما المنصات المتنقلة والروبوتات الشبيهة بالبشر، حيث يشارك الجسد في كل حركة، فلا يكفي.

وهذه هي الفجوة التي تسدّها الفكرة الواردة في عنوان المادة: إضافة طبقة الجسد الكامل إلى بيانات ego. وهذا مهم لنموذج العالم، إذ عليه أن يتنبأ بكيفية تغيّر المشهد استجابةً لفعل ما. وكلما كان الفعل موصوفًا بشكل أكمل، قلّ ما يضطر النموذج إلى تخمينه.

ما يتضح من المادة

• المشكلة الأصلية: اعتماد جمع البيانات على الروبوت الفعلي. فكل ساعة تسجيل تتطلب آلة حقيقية.
• يسجّل التشغيل عن بُعد المفاصل وأفعال المنفّذ الطرفي والبيئة المحيطة. والبيانات صالحة لتدريب السياسة مباشرة.
• تخفّض بيانات ego التكلفة وتسهّل التوسع، لكنها تصف في الأساس النظرة لا الجسد.
• الاتجاه المقترح: استكمال تسجيلات ego ببيانات عن الجسد كله واستخدامها في world models.
• لا توجد نتائج كمية في الجزء المتاح.

ما الذي ينبغي أن تتحقق منه الفرق التي تجمع البيانات

السؤال الرئيس في أي عمل من هذا النوع هو: كيف تُستعاد حركة الجسد؟ فإن قُدِّرت من فيديو كاميرا مثبتة على الرأس، فإن خطأ التقدير سينتقل إلى إشارة التدريب. وإن استُخدمت مستشعرات إضافية، فسيكون المكسب في الكلفة أقل مما يبدو.

أما السؤال الثاني فيتعلق بالنقل إلى الروبوت. فجسد الإنسان وجسد الروبوت الشبيه بالبشر يختلفان في النسب وقيود المفاصل والديناميكيات. ويجب النظر في ما إذا كان العمل يُظهر مكسبًا على آلة حقيقية، لا مجرد جودة في التنبؤ بالفيديو.

والسؤال الثالث هو قانون التوسع. فالقول بوجود مسار جديد لـ scaling ينبغي أن تدعمه منحنيات: كيف تتحسن جودة النموذج مع نمو حجم بيانات الجسد الكامل، وكم من ساعات الروبوت الفعلية يحلّ محلها. وما دام النص الكامل والأرقام غير متاحين، تبقى هذه فرضية، لكن اتجاهها واضح. فلم تعد البيانات مرتبطة بالعتاد، ويبحث العاملون الآن عن الحد الأدنى من المعلومات عن الجسد الذي يكفي ليتعلم نموذج العالم من التجربة البشرية.