Alibaba DAMO تدرّب الروبوتات على 30 ألف ساعة من الفيديو دون وسوم للأفعال

المشكلة الرئيسية في النماذج الكبيرة للروبوتات (VLA، أي vision-language-action) هي نقص البيانات الموسومة بالأفعال. فالعروض التوضيحية التي سُجّلت فيها أوامر التحكم قليلة، ولكل روبوت فضاء تحكم خاص به. ويقترح باحثو Alibaba DAMO Academy التحايل على هذا القيد. فإطار RynnVLA-Latent يتدرب مسبقًا على 30,1 ألف ساعة من فيديوهات البشر والروبوتات والمحاكاة، وهي فيديوهات لا تتضمن أوامر التحكم الأصلية. وتحقق السياسة النهائية، بحجم 4 مليارات معامل، نسبة نجاح 98,8% على LIBERO و88,6% على اختبار RoboTwin 2.0 للمهام ثنائية اليد.

أفعال لم يسجّلها أحد

يقوم العمل على نموذج RynnLAM. يفحص النموذج أزواج الإطارات، ويتعلم وصف الانتقال بينها بوصفه فعلًا كامنًا مستمرًا. ولا يحتاج لذلك إلى أوامر الروبوت الأصلية، ولهذا يصلح أي فيديو، بما في ذلك المقاطع التي تجمّع فيها أيدي البشر الأشياء.

لهذا النهج نقطة ضعف. فإذا اكتفى النموذج بالتنبؤ بالصورة المستقبلية، فسيميل بسهولة إلى ترميز تغيّرات المظهر: الإضاءة والخلفية وحركة الكاميرا. ويعالج المؤلفون ذلك بثلاثة أساليب:

• التنبؤ بالسمات المستقبلية المتبقية (residual future-feature prediction) يدفع النموذج إلى ترميز التغيّر بين الإطارات تحديدًا؛ • الإشراف بالتدفق ثلاثي الأبعاد (3D-flow supervision) مع تعويض حركة الكاميرا يربط التمثيل بالانتقال الفعلي للأجسام في الفضاء؛ • فصل حركة الكاميرا (camera-motion decoupling) يميّز حركة الكاميرا عن الأفعال داخل المشهد.

وينتج عن ذلك كله تمثيلات تصف الحركة المهمة للتحكم، لا مجرد تبدّل الصورة.

من 745 مليون واصف إلى يد حقيقية

طُبّق RynnLAM على المدونة الكاملة البالغة 30,1 ألف ساعة، فنتج 745,52 مليون واصف كامن. وعلى هذه الواصفات تتدرب السياسة نفسها. ويتنبأ RynnVLA-Latent، انطلاقًا من الملاحظات البصرية وتعليمات لغوية، بكتل من الأفعال الكامنة (latent-action chunks) بطريقة flow matching.

تأتي بعد ذلك مرحلة ما بعد التدريب لروبوت محدد. إذ يتكيّف العمود الفقري المدرَّب مسبقًا ووحدة خبير الأفعال (action expert) مع أوامر التحكم الأصلية للمنصة المعنية. وتشكّل الأهداف الكامنة لغة مشتركة بين الأجسام المختلفة، بينما تُضاف خصوصية الميكانيكا المحددة في النهاية.

واختبر المؤلفون أيضًا جودة التمثيلات نفسها. فقد فُحصت التمثيلات المجمّدة بمجسّات (probes) لإثبات أنه يمكن التنبؤ بالتحكم انطلاقًا منها. كما أجروا دراسات استئصال (ablations) للتمثيلات ورسموا منحنيات قياس تدرّجي (scaling)، وتبيّن منها أن الجودة تنمو مع حجم التدريب المسبق الكامن.

ماذا أظهرت الاختبارات المعيارية

حقق النموذج بحجم 4 مليارات معامل النتائج التالية:

• LIBERO — نسبة نجاح 98,8%؛ • LIBERO-Plus — 84,7% دون تكييف خاص لهذا الاختبار؛ • VLABench — 51,9% في المتوسط عبر خمسة مسارات؛ • RoboTwin 2.0 (المهام ثنائية اليد) — 88,6% في المتوسط؛ • ست مهام مناولة واقعية على منصات بيد ماهرة وذراع إمساك محمولة — أعلى المؤشرات بين الطرق المقارَنة.

هذا التحفظ مهم: ففي المهام الواقعية يتعلق الأمر بأفضل نتيجة بين الطرق التي أدرجها المؤلفون في المقارنة. ولا تتضمن الورقة مقارنة واسعة مع الأنظمة الصناعية المغلقة.

الخلاصة العملية للقطاع

تكمن عقدة الروبوتات اليوم في البيانات. فالتشغيل عن بعد (teleoperation) مكلف، وتوافق مجموعات البيانات بين الروبوتات لا يزال مشكلة مزمنة. ويُظهر عمل DAMO مسارًا عمليًا: استخدام الفيديوهات المتراكمة، بما فيها فيديوهات البشر، مصدرًا لإشارة التحكم.

وهذا يعني لفرق بناء نماذج المناولة عدة أمور. أولًا، يمكن تحويل الفيديو غير الموسوم إلى أهداف تدريب إذا أُزيلت حركة الكاميرا بشكل صحيح. ثانيًا، ينتقل تدريب مسبق واحد إلى منصات مختلفة عبر مرحلة قصيرة من ما بعد التدريب. ثالثًا، يشير منحنى القياس التدرّجي إلى أن مزيدًا من الفيديو سيعطي نتيجة أفضل، والفيديو في العالم أكثر بكثير من العروض التوضيحية الموسومة.

هذه نتيجة أكاديمية، لكن الشيفرة منشورة بالفعل في المستودع alibaba-damo-academy/RynnVLA-Latent، وصفحة المشروع مفتوحة. ويمكن لفرق مستقلة أيضًا التحقق من الأرقام وتطبيق الطريقة على منصاتها.