HoloBoxing تعلّم روبوتًا شبيهًا بالبشر الملاكمة في 7 دقائق على وحدة GPU واحدة

اقترح فريق HoloBoxing وصفة بسيطة لتدريب روبوت شبيه بالبشر على الملاكمة: أخذ وحدة تحكم مدرَّبة مسبقًا للجسم كاملًا، وتجميدها، ثم تدريب مخطِّط صغير فوقها يقرر أين تُوجَّه الضربة وكيف. يستغرق التدريب الإضافي نحو سبع دقائق على وحدة GPU واحدة. نُشر البحث على arXiv تحت الرقم 2610.32909، وظهر ضمن Hugging Face Daily Papers.

الحركة على حدة والتكتيك على حدة

يعرف كل من حاول تدريب روبوت شبيه بالبشر بالتعلّم المعزز هذه المشكلة: على السياسة نفسها أن تحافظ على التوازن، وتنسّق عشرات المفاصل، وأن تنجح في المهمة أيضًا. وتتوزع مكافأة الضربة على هذه المنظومة المتشابكة كلها، فيطول التدريب ويفتقر إلى الاستقرار.

تقسّم HoloBoxing المهمة عند نقطة الفصل الطبيعية. فمهارة تحريك الجسم تقع في وحدة تحكم مجمَّدة ومدرَّبة مسبقًا، وهي المسؤولة عن التنفيذ على مستوى المفاصل. أما كل ما يتعلق بالقتال فتتولاه سياسة عليا مدمجة. هذه السياسة لا تقود المحركات مباشرة، بل تتنبأ بالنقاط المستهدفة للجسم: أين يجب أن تصل اليدان والجذع وبقية الأجزاء.

وبين المخطِّط ووحدة التحكم طبقة إضافية. فهناك تحويل مدرَّب يحوّل فعل المخطِّط ذا الأبعاد الـ32 إلى نوافذ أهداف منظَّمة، أي إلى مجموعة نقاط على أفق زمني قصير تفهمها وحدة التحكم. وهكذا يبقى فضاء الأفعال صغيرًا، وتتلقى وحدة التحكم مدخلات تتقن التعامل معها أصلًا.

البداية بالتقليد والنهاية بالمكافأة

عيب التعلّم المعزز الخالص أن الاستكشاف يبدأ فيه شبه أعمى. ويعالج المؤلفون ذلك بتهيئة قائمة على التقليد: يكتسب المخطِّط أولًا سلوكًا ملاكميًا أوليًا، وبعد ذلك فقط يصقل التعلّم المعزز التفاعل مع الخصم. فالمكافأة تحسّن ما يشبه القتال أصلًا، ولا تبحث عن القتال من الصفر.

ونتيجة ذلك أن مسألة التحسين تتقلص إلى سياسة عليا صغيرة. ولا يُعاد تعلّم التحكم الكامل بالجسم في أي خطوة.

ما الذي تشمله السبع دقائق وما الذي لا تشمله

يحدد المؤلفون حدود هذا الرقم بعناية. وهذه تفاصيله:

• وحدة التحكم المجمَّدة للجسم كاملًا: مدرَّبة مسبقًا، ولا تدخل في الميزانية.
• المخطِّط المدمج: يتنبأ بالنقاط المستهدفة للجسم في مهمة الملاكمة.
• فعل المخطِّط: 32 بُعدًا.
• التحويل المدرَّب: يحوّل الأفعال ذات الأبعاد الـ32 إلى نوافذ أهداف منظَّمة.
• التهيئة بالتقليد: توفّر سلوكًا ابتدائيًا قبل بدء التعلّم المعزز.
• التعلّم المعزز: يُدقّق السلوك في القتال مع إعادة استخدام التمثيل ووحدة التحكم.
• الميزانية: نحو سبع دقائق، تشمل ضبط التمثيل القابل لإعادة الاستخدام وتشغيلًا واحدًا للمهمة على وحدة GPU واحدة.
• غير محتسَب: التدريب المسبق لوحدة التحكم، وإعداد البيانات، والتقييم، والبحث عن المعاملات الفائقة.

النقطة الأخيرة مهمة. فالسبع دقائق تعبّر عن كلفة مهمة جديدة عند توفر القاعدة الجاهزة، لا عن كلفة خط الإنتاج كاملًا من الصفر. وهو مقياس صادق لسيناريو تتوفر فيه وحدة التحكم أصلًا، ويلزم فقط تعليمها نشاطًا جديدًا.

أُجري التحقق في المحاكاة: شغّل المؤلفون تجارب الملاكمة وتشغيلات ضابطة لكل مكوّن، لفهم دور التهيئة بالتقليد وبقية أجزاء الوصفة. ولا يوجد في البحث روبوت حقيقي على الحلبة، ويبقى نقل النتائج من المحاكي إلى العتاد الفعلي مسألة منفصلة.

أين يمكن الاستفادة من هذا

تكمن القيمة الرئيسية للبحث في الأسلوب المعماري. فإذا كان لدى الفريق وحدة تحكم عامة جيدة للجسم، تتحول كل مهمة جديدة، سواء كانت ملاكمة أو مصارعة أو تفاعلات جماعية، إلى تجربة قصيرة على وحدة GPU واحدة. وهذا يغيّر موضع الثقل: الجزء المكلف يُنجَز مرة واحدة، والجزء الرخيص يمكن تكراره عشرات المرات في اليوم.

وبالنسبة إلى المختبرات التي لا تملك عناقيد حوسبة، فالأمر يتعلق أيضًا بإتاحة الوصول. فتدريب الطبقة العليا على وحدة GPU واحدة في متناول كثيرين، أما التدريب المسبق لوحدة التحكم من الصفر فليس كذلك. ويبدو أن تقسيم العمل بين من يبني وحدات التحكم الأساسية ومن يكتب المهام فوقها هو منظومة طبيعية لروبوتات الهيئة البشرية.

والخلاصة العملية للمهندسين: قبل زيادة تعقيد سياسة شاملة من البداية إلى النهاية، يجدر التحقق مما إذا كان بالإمكان تجميد المستوى الأدنى وتحسين المستوى الأعلى المدمج فقط. وإذا أمكن الحصول على السلوك الابتدائي بالتقليد، فلن يلزم التعلّم المعزز في المرحلة الثانية إلا للضبط الدقيق، ويُقاس زمن التدريب بالدقائق.