STI-OPD: المعلّم يستبدل أفعال الوكيل احتماليًا ويتفوق على خطوط الأساس لـ OPD

اقترح فريق مؤلفي الورقة البحثية arXiv:2610.10878 أسلوب STI-OPD، وهو صيغة من التقطير على السياسة (on-policy distillation) للوكلاء الذين يعملون عبر عدة خطوات. تقوم الفكرة على أن المعلّم يستبدل فعل الطالب بفعله هو باحتمال معيّن، ويُحسب هذا الاحتمال من التباعد بين السياستين. وبحسب المؤلفين، يتفوق الأسلوب على أقوى خط أساس سابق لـ OPD في كل اختبار معياري جرى تقييمه ولكل حجم من أحجام الطالب. ولا يتضمن الملخّص نسب تحسّن محددة، وينبغي البحث عنها في النص الكامل للورقة.

أين تنكسر on-policy distillation

تقوم OPD على آلية بسيطة. يولّد الطالب المسارات بنفسه، ويعطي المعلّم عند كل رمز (token) إشارة كثيفة تبيّن مدى اختلاف توزيعه عن توزيع الطالب. وقد أثبت هذا النهج جدواه في المهام المعقدة مثل الاستدلال الرياضي، حيث يندرج التوليد كله في إجابة طويلة واحدة.

أما في السيناريوهات الوكيلية فالوضع أسوأ. يختار الطالب فعلًا، وترد البيئة بملاحظة، وتحدد هذه الملاحظة الخطوة التالية. والخطأ المبكر يجرّ وراءه أخطاء لاحقة. وبعد بضع خطوات يجد المسار نفسه في منطقة لم يكن المعلّم نفسه ليصل إليها أبدًا. ويصبح توسيمه على مستوى الرمز في مثل هذه الحالات أقل موثوقية، بل ضارًا أحيانًا: إذ يُعلَّم الطالب تصحيح وضع لا وجود له أصلًا في المسار السليم لتنفيذ المهمة.

كيف يعمل STI-OPD

أثناء التفاعل متعدد الخطوات، يقيس الأسلوب التباعد بين سياستي المعلّم والطالب عبر KL divergence، ويحوّله إلى احتمال تدخل. ثم يُقرَّر عشوائيًا عند كل خطوة: هل يبقى فعل الطالب أم يُستبدل بفعل يولّده المعلّم. وكلما ابتعد المسار عن المعلّم، ارتفعت فرصة أن يتولى زمام الأمر ويعيد المسار إلى منطقة الإشارة الموثوقة.

يقارن المؤلفون ذلك بالمخططات السابقة التي تعتمد عتبة صارمة للتباعد أو جدولًا ثابتًا للتدخلات. ويرون أن الصيغة الاحتمالية توازن بصورة أفضل بين سيطرة المعلّم واستكشاف الطالب: فلا يُحرَم الطالب من خطواته المستقلة، ولا يبتعد في الوقت نفسه أكثر مما ينبغي.

وللمسارات المختلطة كلفة تقنية. فجزء من الرموز كتبه المعلّم، وهي لا تطابق توزيع الطالب، ولذلك يصبح هدف OPD المعتاد منحازًا. ولتصحيح ذلك يُدخَل Importance-Weighted Reverse KL، الذي يأخذ في الحسبان الفرق بين أخذ المعلّم للرموز عينةً وسياسة الطالب، ويحافظ على هدف OPD الأصلي.

العناصر الرئيسية للأسلوب:

• يتحكم في التدخل تباعد KL بين سياستي المعلّم والطالب؛
• يُحوَّل التباعد إلى احتمال، ويُتخذ القرار بالاعتماد على أخذ العينات؛
• يجري استبدال الفعل على مستوى الخطوة في التفاعل متعدد الخطوات؛
• يتم التدريب على المسارات المختلطة عبر Importance-Weighted Reverse KL؛
• يشمل التقييم الاستدلال المدمج بالأدوات (tool-integrated reasoning) والتفاعلات الطويلة (long-horizon).

ماذا أظهرت التجارب

وفق الملخّص، يتفوق STI-OPD على أقوى خط أساس سابق لـ OPD في كل اختبار معياري ومع كل حجم من أحجام النموذج الطالب. وتُظهر تجارب الاستئصال (ablations) كلًا على حدة أن المكوّنين كليهما يسهمان: التدخل الموجَّه بالتباعد، والوزن بالأهمية (importance weighting). وعند حذف أي منهما يتراجع المكسب.

وتبرز القيود أيضًا. فالأسلوب يتطلب معلّمًا متاحًا مباشرة أثناء التدريب وقادرًا على توليد الأفعال عند الطلب، وهذا يعني كلفة استدلال (inference) لنموذج قوي عند كل خطوة. كما أن النتائج لم تُعرض حتى الآن إلا في ورقة بحثية أولية (preprint)، ولا توجد إعادات إنتاج مستقلة لها، ولم يُورَد جدول المقاييس الكامل في الإعلان.

لمن يفيد هذا

تحصل الفرق التي تقطّر نماذج كبيرة إلى وكلاء مدمجين للعمل مع الأدوات أو الشيفرة أو الحوارات الطويلة على وصفة عملية ضد انحراف المسارات. ويمكن اختبارها على خط المعالجة الخاص بكم: يكفي تسجيل KL بين السياستين عند كل خطوة ومقارنة التدخل بالعتبة مع التدخل الاحتمالي. وإذا كان معلّمكم مكلفًا في الاستدلال، فمن المنطقي تقدير النسبة التي ستُنفَق في النهاية من الخطوات على أفعاله مسبقًا. أما وزن الأهمية التصحيحي فمن الأفضل إضافته منذ البداية، وإلا سهل أن يضيع التوافق مع هدف OPD الأصلي عند استبدال الرموز.