TILDE تعلّم الروبوتات من النماذج التأسيسية وتحسّن النتيجة حتى 4.1 مرة

عرض فريق من الباحثين TILDE (اختصار Teacher-In-the-Loop Distillation from EFMs)، وهي طريقة لنقل مهارات المناولة من نماذج Embodied Foundation Models الكبيرة المدرَّبة مسبقًا إلى سياسات صغيرة لم تخضع قط لتدريب مسبق على الأفعال. وفي ثلاث مهام روبوتية واقعية، حققت الطريقة تحسنًا يصل إلى 4.1 مرة مقارنة بـ behavior cloning التقليدي. كما يقترح المؤلفون معها AutoDAgger، وهو خط معالجة يجمع بيانات التعافي من الأخطاء بسرعة تزيد على ضعف سرعة المخطط الذي يكون فيه الإنسان ضمن الحلقة.

لماذا لا يمكن تكرار التدريب المسبق على الأفعال

تتعمّم نماذج EFM التي خضعت لتدريب مسبق واسع النطاق على الأفعال جيدًا على مواقف جديدة، وتبقى مستقرة في الحلقة المغلقة: فإذا حدث خلل، صحّحت حركتها. لكن لذلك ثمنًا. فهذا النوع من التدريب المسبق يتطلب مجموعات بيانات ضخمة من الروبوتات وموارد حوسبة كبيرة، وهي ببساطة غير متوفرة لدى معظم المختبرات والشركات.

من هنا يبرز سؤال عملي: هل يمكن الاستفادة من قدرات المعلّم دون تكرار مساره؟ الجواب الكلاسيكي هو behavior cloning، أي نسخ العروض التوضيحية. ولهذا النهج ضعف معروف. فالطالب يتعلم من مسارات يسير فيها كل شيء على نحو صحيح، أما في الواقع فهو يخطئ ويجد نفسه في حالات لم ترد في العروض التوضيحية. وتتراكم الأخطاء وتنهار السياسة.

ثلاثة مصادر للإشارة في مخطط واحد

تجمع TILDE بين ثلاثة أنواع من التعلّم: التعلّم من العروض التوضيحية، والتعلّم من إشراف المعلّم في الحالات التي يصل إليها الطالب، والتعلّم من السلوك التصحيحي للمعلّم.

• تحدد العروض التوضيحية السلوك الأساسي.
• يوفّر التقطير on-policy إرشادات المعلّم في المواضع التي يصل إليها الطالب بنفسه، لا في المواضع التي زارها المشغّل أثناء تسجيل البيانات.
• ينفّذ المعلّم نفسه مسارات التعافي. فحين يخطئ الطالب، يتولى المعلّم التحكم ويُظهر كيف يعود إلى المهمة.

وهذا في جوهره تطوير لفكرة DAgger، حيث يضع الخبير تسميات للحالات التي زارتها السياسة قيد التدريب. غير أن دور الخبير هنا يؤديه EFM لا الإنسان.

AutoDAgger: خروج المشغّل من الحلقة

نقطة الاختناق في DAgger التقليدي هي الإنسان. فعلى أحدهم أن يراقب الروبوت، ويلاحظ الإخفاق في الوقت المناسب، ويتولى التحكم يدويًا. يلغي AutoDAgger هذا الدور. إذ يتتبع نموذج مكافأة روبوتي تقدّم تنفيذ المهمة، وعندما يتوقف هذا التقدم أو يتراجع، يطلق تدخل المعلّم. ينفّذ المعلّم مسار التعافي، ويدخل هذا المسار في عيّنة التدريب دون مراقب ودون تحكم يدوي.

والنتيجة تسريع جمع هذه المسارات بأكثر من مرتين مقارنة بطريقة human-in-the-loop.

المعاملات الرئيسية

• الطريقة: التقطير من EFM مع معلّم في الحلقة (TILDE)
• جمع البيانات: AutoDAgger مع نموذج مكافأة روبوتي يعمل كمراقب للتقدّم
• تسريع جمع مسارات التعافي: أكثر من مرتين مقارنة بالإنسان في الحلقة
• تحسّن الجودة: حتى 4.1 مرة مقابل behavior cloning
• التحقق: ثلاث مهام واقعية
• إضافة: دعم التقطير عبر معماريات مختلفة

ماذا يعني ذلك عمليًا

أبرز نقطة هي إمكانية التقطير عبر معماريات مختلفة. فالطالب غير ملزم بمحاكاة بنية المعلّم، ولذلك يمكن تدريب سياسة مدمجة تناسب عتادًا محددًا وميزانية زمن استجابة معينة على يد نموذج كبير، دون مواءمة المعماريتين إحداهما مع الأخرى. وبالنسبة إلى الفرق التي تستطيع الوصول إلى EFM قوي لكنها لا تملك موارد لتدريب مسبق خاص بها، فهذا طريق حقيقي نحو سياسة عاملة.

أما الاستنتاج العملي الثاني فيتعلق بتكلفة البيانات. فإذا لم يعد الإنسان مضطرًا إلى المناوبة بجانب الروبوت، يتحول جمع البيانات التصحيحية من عمل يدوي إلى عملية خلفية يمكن تشغيلها بالتوازي على عدة منصات.

والقيود واضحة أيضًا. فالمخطط كله يعتمد على نموذج المكافأة: إذا تأخر في إطلاق الإنذار أو أطلق إنذارًا كاذبًا، تدخّل المعلّم في توقيت خاطئ. كما يتطلب جمع البيانات تشغيل المعلّم، وتبقى ثلاث مهام عيّنة صغيرة حتى الآن لا تكفي للخروج باستنتاجات عن الشمولية. لكن الاتجاه يبدو مقنعًا: فالنماذج الكبيرة لا تصبح منتجًا نهائيًا، بل مدرّبًا لسياسات صغيرة ورخيصة التشغيل.