حددت Apple متى يفيد on-policy distillation في تدريب النماذج

نشر باحثو Apple ML Research تحليلاً لحدود تقنية on-policy distillation — وهي تقنية تدريب حيث يقدم نموذج المعلم توجيهاً لكل رمز (per-token) لنماذج التفكير المنطقي. الخلاصة: يمكن للطريقة أن تكون أداة قوية، لكن فقط عند تطبيقها بشكل صحيح.

ما هي on-policy distillation وملاذا نحتاجها

On-policy distillation هي طريقة لتدريب نموذج جديد بإعطائه توجيهات مفصلة جداً في كل خطوة. تخيل: يحل معلم ذكي مشكلة بصوت مرتفع، يشرح كل خطوة، والطالب يتعلم ليس فقط من الإجابة النهائية، بل أيضاً من طريقة تفكير المعلم على طول الطريق.

هذا مهم بشكل خاص لنماذج التفكير المنطقي — النماذج التي تحل المشاكل المعقدة خطوة بخطوة، وتنشر المنطق. تستخدم OpenAI والمختبرات الأخرى نهجاً مشابهاً عند تدريب نماذج مثل o1 و Claude 3.5 Sonnet. للوهلة الأولى، كلما كان التوجيه أكثر تفصيلاً، كان يجب على الطالب أن يتعلم بشكل أفضل.

عندما تساعد فعلاً وعندما قد تضر

توصلت Apple إلى أن الأمر أكثر تعقيداً. تبقى الأسئلة الرئيسية مفتوحة:

• أي نموذج نختار كمعلم (الأقوى ليس دائماً الأفضل)
• ما السياق الذي نستخدمه أثناء self-distillation، عندما يتعلم النموذج من نفسه
• قد يختلف الاختيار الأمثل من رمز إلى آخر

النهج الحالي لهذه الأسئلة عادة هو كالتالي: تشغيل تدريب مكلف، الحساب لعدة ساعات (أو أيام) على وحدة معالجة الرسومات، والنظر إلى المقاييس النهائية. لكن المشكلة هي أن هذه المؤشرات المجمعة تخفي الحقيقة: على مستوى الرموز الفردية، غالباً ما تعمل الطرق بشكل مختلف تماماً.

كيفية اقتراح Apple حل هذا

قدمت مجموعة البحث نهجاً خالياً من التدريب — طريقة لفهم فعالية on-policy distillation بدون تجارب مكلفة. هذا يسمح لمهندسي ML بفهم ما إذا كانت الطريقة تعمل في سيناريوهم المحدد قبل تشغيل التدريب الكامل للنموذج.

مثل هذه الأدوات حاسمة للمختبرات الكبيرة: كل ساعة من وقت وحدة معالجة الرسومات تكلف المال، وإمكانية التنبؤ بنتائج التدريب مسبقاً توفر الموارد ووقت التطوير.

ماذا يعني هذا لمجتمع ML

تبقى on-policy distillation تقنية قوية، لكن هذا البحث يظهر أنه لا يمكن تطبيقها بشكل ميكانيكي. المهام المختلفة والنماذج المختلفة والبيانات المختلفة تتطلب حلولاً مختلفة — وقدمت Apple أداة لاتخاذ هذه القرارات على أساس عملي، دون تجربة وخطأ مكلفة.