STI-OPD: تدخل احتمالي من المعلّم في المهام الوكيلية متعددة المراحل

قدّم المؤلفون جونان ليو، ولينهاو لو، وزيجون تشن، وتشيانرن ماو، وثوي-ترانغ فو، وغولام‌رضا حفاری إطار STI-OPD، وهو إطار للتدخل العشوائي من المعلّم في التعلّم الوكيلي متعدد المراحل القائم على التقطير. وسُجّل هذا العمل على منصة arXiv تحت الرقم 2610.10878 في قسم الحوسبة واللغة (Computation and Language).

مشكلة التقطير القائم على السياسة في الأنظمة الوكيلية

ينقل التقطير القائم على السياسة (on-policy distillation) القدرات بفعالية من معلّم قوي إلى طالب أضعف من خلال إشراف كثيف على مستوى كل رمز (token) على حدة. وقد أظهر هذا النهج نتائج واعدة في المهام المعقدة، بما فيها الاستدلال الرياضي. إلا أنه في الأنظمة الوكيلية متعددة المراحل، تغيّر قرارات الطالب الملاحظات اللاحقة. وتتراكم الأخطاء المبكرة عبر كامل مسار التفاعل. ونتيجة لذلك، تنحرف مسارات الطالب بعيداً عن توزيع المعلّم — فيصبح إشرافه غير موثوق، بل قد يضر بالتعلّم، مما يقلّل من فعالية الطريقة بأكملها.

بنية STI-OPD

يُوجَّه تدخل المعلّم بالتباين بين سياستي الطالب والمعلّم. وخلال التفاعل متعدد المراحل، يستبدل النظام في بعض الأحيان فعل الطالب بفعل المعلّم — وهذا يعظّم تراكم الإشراف الموثوق من أجل التعلّم.

ويتمثل الابتكار الأساسي في استراتيجية التدخل العشوائي. فبدلاً من فرض شروط عتبية صارمة أو جداول تدخل ثابتة، يقوم النظام بما يلي: يقيّم التباين بين السياستين عبر تباعد KL بين توزيعات أفعال المعلّم والطالب؛ ويحوّل هذا التباين إلى احتمالية للتدخل؛ ويعاين بشكل احتمالي قرار التدخل في كل لحظة زمنية. وهذا يتيح موازنة تكيّفية بين سيطرة المعلّم والاستكشاف المستقل للطالب، بحسب الحالة الراهنة للتباين.

التعلّم من المسارات المختلطة

تحتوي المسارات الناتجة على مزيج من الأفعال، سواء من المعلّم أو من الطالب. ولكي يتم التعلّم من هذه البيانات المختلطة بشكل صحيح، يُدخل المؤلفون هدف Importance-Weighted Reverse KL. ويصحّح هذا المكوّن عدم التطابق في معاينة الرموز بين الإجابات التي يولّدها المعلّم وتوزيع سياسة الطالب. وهذا يحافظ على الهدف الأصلي للتقطير القائم على السياسة ويتجنب أي انحياز في عملية التعلّم.

النتائج وقابلية التطبيق

شملت التجارب فئتين من المهام: الاستدلال المتكامل مع الأدوات (tool-integrated reasoning)، والتفاعل طويل المدى (long-horizon interaction) مع البيئة. وفي جميع المعايير التي جرى تقييمها وجميع أحجام نماذج الطلاب، يتفوق STI-OPD على أقوى أساس مرجعي سابق للتقطير القائم على السياسة. وتؤكد دراسات الاستقطاع (ablation) أن كلا المكوّنين الأساسيين — التدخل الموجَّه بالتباين بين السياستين، والتصحيح بالترجيح الاعتباري — يساهمان في التحسن النهائي للأداء. وتم تصنيف الورقة كعمل قيد التطوير، وهي متاحة بصيغ PDF وHTML وTeX Source على arXiv.