باحثون يختبرون 16 نوعًا من التلميحات في OPSD ويجدون مقياسًا لانتقائها

تتيح on-policy self-distillation (OPSD) لنموذج لغوي أن يتعلم من معلومات مميزة دون الحاجة إلى نموذج معلّم منفصل. وتُظهر ورقة جديدة وصلت إلى Hugging Face Daily Papers أن التلميح نفسه (PI) يحدد النتيجة بقدر ما تحددها الخوارزمية. مرّر المؤلفون 16 تكوينًا من PI عبر ثلاثة اختبارات معيارية وكيلية متعددة الخطوات وثلاثة نماذج طالبة تختلف في الحجم ونمط الاستدلال. والخلاصة العملية الأهم: يمكن تقدير جودة التلميح قبل التدريب بواسطة مقاييس KL، وهذه الطريقة أكثر موثوقية من الفحص المباشر لجدواه.

لماذا أصبحت PI نقطة الضعف في OPSD

المخطط مألوف: يرى النموذج المهمة مع معلومات إضافية لا تتوفر لـ«الطالب» أثناء الاستدلال، ويصبح توزيعه على الرموز (tokens) إشارة للتدريب. ويتدرّب الطالب هنا على عيّناته الخاصة، ومن هنا جاءت تسمية on-policy. ولا حاجة إلى معلّم إضافي.

حتى الآن اعتُبرت PI في معظم الأعمال قرارًا تصميميًا ثابتًا. وقلّت الدراسات التي تناولت ما ينبغي وضعه فيها وكيفية بنائها. وفي المهام الوكيلية متعددة الخطوات يزداد السؤال حدّة: فالمسار يتألف من إجراءات وملاحظات واستدلالات، ويمكن تحويله إلى تلميح بعشر طرق. يمكن الإبقاء على النتيجة النهائية فقط، أو إضافة الخطوات، أو إبراز الخطوات الخاطئة.

ماذا أظهرت التكوينات الـ16

تعتمد فعالية PI على ثلاثة عوامل معًا: المحتوى، ومصدر التوليد، والنموذج الطالب نفسه. والأنماط العامة كما يلي:

• المسارات الكثيفة بالمعلومات حين تُستخدم بوصفها PI تحقق في المتوسط مكاسب أكبر؛
• PI التي ينشئها مولِّد أقوى تكون في الغالب أكثر فائدة؛
• نماذج التفكير (thinking) تستفيد من PI بدرجة أقل استقرارًا من النماذج التي لا تملك نمط استدلال صريحًا؛
• لا توجد وصفة تلميح عالمية، فأفضل تكوين يتغير من مهمة إلى أخرى ومن طالب إلى آخر.

لا يورد المؤلفون في الملخص مكاسب رقمية، لذا يجب الرجوع إلى النص الكامل للورقة لمعرفة حجم الأثر.

كيف نقيّم التلميح قبل التدريب

تشغيل تدريب كامل لاختبار كل PI مكلف. لذلك قارن المؤلفون التقييم المباشر لجدوى PI بمقياسين قائمين على تباعد KL:

• sampled-token reverse KL (D): تباعد KL العكسي على الرموز المأخوذة عيّنات؛
• error-step KL contrast (Δd⁻_err): تباين KL المرتبط بالخطوات التي يخطئ فيها الوكيل.

يتسق المقياسان مع الجودة النهائية بعد التدريب بثبات أكبر من التقييم المباشر للجدوى. ولهذا الأخير نقطة ضعف: يشوّهه تسرّب المعلومات. فإذا كان التلميح يتضمن الإجابة فعليًا، يبدو النموذج معه قويًا، لكن الطالب لا يستفيد من ذلك شيئًا.

واختبر المؤلفون كذلك سيناريو عمليًا. فاختيار PI لكل مهمة وفق Δd⁻_err يحسّن النتيجة بعد التدريب مقارنةً بالاختيار العشوائي. ويكون المكسب أكبر حيث تتباين المرشحات كثيرًا فيما بينها. أما إذا كانت جميع صيغ التلميح متقاربة، فإن المقياس لا يضيف شيئًا يُذكر.

OPSD مع GRPO

تناول اختبار منفصل التوافق مع التعلم المعزز (RL). تظل PI الفعّالة مفيدة عند الجمع بين OPSD وGRPO، ويتفوق الهدف المركّب على خط أساس GRPO القوي. أي إن self-distillation لا تنافس التعلم المعزز، بل تكمّله.

ما الذي يمكن تطبيقه عمليًا

ينبغي للفريق الذي يدرّب وكلاء عبر self-distillation أن يتوقف عن اعتبار صيغة PI ثابتًا. وفيما يلي تسلسل معقول للإجراءات:

• إعداد عدة صيغ من PI انطلاقًا من المسارات نفسها، من المضغوطة إلى الكثيفة؛
• توليد التلميحات بنموذج أقوى كلما أمكن؛
• ترتيب المرشحين بحسب مقاييس KL، وليس بحسب مدى جودة حل النموذج للمهمة والتلميح في سياقه، وإلا ضلّل التسرّب النتائج؛
• عدم توقّع المكسب نفسه لنماذج التفكير (thinking) كما هو في النماذج العادية، وفحصها على حدة؛
• إذا كان لديك مسار (pipeline) قائم مع GRPO، فأضف OPSD مع PI منتقاة بوصفها حدًّا ثانيًا في الهدف.

والقيد واضح أيضًا. فالعمل تجريبي، والاستنتاجات مستخلصة من ثلاثة اختبارات معيارية وثلاثة طلاب، ويجب فحص انتقالها إلى مجالات أخرى. لكن النتيجة مفيدة بوصفها دليلًا لهندسة التلميحات في self-distillation: فهي تستبدل الحدس بمقياس رخيص يمكن حسابه قبل إطلاق تدريب مكلف.