Apple تحدد متى تفيد تقنية on-policy distillation في تدريب النماذج

نشر باحثو Apple ML Research تحليلًا لحدود on-policy distillation، وهي تقنية تدريب يقدّم فيها النموذج المعلّم توجيهًا على مستوى كل token (per-token) لنماذج الاستدلال. والخلاصة: قد تكون هذه التقنية أداة قوية، لكن بشرط تطبيقها بالشكل الصحيح.

ما هي on-policy distillation ولماذا تُستخدم

تقنية on-policy distillation هي طريقة لتدريب نموذج جديد عبر منحه إرشادات تفصيلية جدًا في كل خطوة. تخيّلوا معلّمًا ذكيًا يحل مسألة بصوت عالٍ ويشرح كل خطوة، بينما يتعلم الطالب لا من الإجابة النهائية فقط، بل أيضًا من طريقة تفكير المعلّم على امتداد الحل.

وهذا مهم بوجه خاص لنماذج الاستدلال (reasoning)، أي النماذج التي تحل المسائل المعقدة خطوة بخطوة وتبسط منطقها أثناء الحل. وتستخدم OpenAI ومختبرات أخرى نهجًا مشابهًا في تدريب نماذج مثل o1 وClaude 3.5 Sonnet. وللوهلة الأولى، كلما كان التوجيه أكثر تفصيلًا، ينبغي أن يتعلم الطالب بشكل أفضل.

متى تفيد فعلًا ومتى قد تضر

توصلت Apple إلى أن الصورة أكثر تعقيدًا. ولا تزال أسئلة رئيسية مفتوحة:

• أي نموذج ينبغي اختياره معلّمًا (الأقوى ليس دائمًا الأفضل)
• أي سياق ينبغي استخدامه في self-distillation، حين يتعلم النموذج من نفسه
• قد يختلف الخيار الأمثل من token إلى آخر

أما النهج الحالي في التعامل مع هذه الأسئلة فعادةً ما يكون كالتالي: إطلاق تدريب مكلف، وقضاء ساعات (أو أيام) من الحسابات على وحدات GPU، ثم النظر في المقاييس النهائية. لكن المشكلة أن هذه المؤشرات المجمّعة تخفي الحقيقة؛ فعلى مستوى token الواحد كثيرًا ما تعمل الطرق بشكل مختلف تمامًا.

كيف تقترح Apple معالجة ذلك

قدّم فريق البحث نهجًا لا يتطلب تدريبًا (training-free)، وهو طريقة لتقييم فعالية on-policy distillation دون تجارب باهظة التكلفة. ويتيح ذلك لمهندسي ML معرفة ما إذا كانت التقنية تعمل في سيناريوهم المحدد قبل إطلاق التدريب الكامل للنموذج.

وتُعد هذه الأدوات حاسمة للمختبرات الكبيرة: فكل ساعة من وقت GPU لها كلفة، كما أن القدرة على التنبؤ مسبقًا بنتيجة التدريب توفّر الموارد وتختصر زمن التطوير.

ماذا يعني ذلك لمجتمع ML

تبقى on-policy distillation تقنية قوية، لكن هذا البحث يبيّن أنه لا ينبغي تطبيقها آليًا. فاختلاف المهام والنماذج والبيانات يتطلب حلولًا مختلفة، وقد وفّرت Apple أداة لاتخاذ هذه القرارات على أساس مدروس، دون اللجوء إلى أسلوب التجربة والخطأ (trial-and-error) المكلف.