OPMD يعلّم نماذج LLM الطالبة ما هو أبعد من الإجابات: الحسابات الداخلية للمعلّم

اقترح فريق من الباحثين OPMD (On-Policy Mechanism Distillation)، وهي طريقة لتقطير النماذج اللغوية تنقل من المعلّم إلى الطالب التنبؤات والحسابات الوسيطة معًا. وبحسب المؤلفين، حققت OPMD أعلى متوسط دقة بين خطوط الأساس التقطيرية المقيَّمة في جميع تهيئات «المعلّم — الطالب» الثلاث. كما تنتقل الطريقة إلى التقطير من عدة معلّمين، وإلى supervised fine-tuning بين عائلات مختلفة من النماذج. نُشر العمل في Hugging Face Daily Papers. ولا يتضمن الملخص قيمًا مطلقة للمقاييس ولا أسماء النماذج ولا المعايير المرجعية، ولذلك لا يمكن تقدير حجم المكسب حتى الآن.

أين يتعثر التقطير on-policy

يقوم التقطير on-policy distillation (OPD) على أن يولّد الطالب البادئات بنفسه، بينما يقيّم المعلّم ما كان سيقوله في كل خطوة. وهكذا يتعلم الطالب من توزيعه الخاص للحالات، لا من نصوص مرجعية أنتجها غيره، ما يقلّص التباين بين التدريب والاستدلال. غير أن للنهج قيدًا: يبقى الإشراف في فضاء المخرجات. فالطالب يعرف أي الرموز يتنبأ بها المعلّم، لكنه لا يرى كيف وصل إليها.

الخطوة التي تفرض نفسها هي جعل الحالات المخفية للطالب شبيهة بالحالات المخفية للمعلّم. لكن المؤلفين يرون ذلك غير كافٍ لسببين. أولًا، قد تختلف تمثيلات المعلّم والطالب هندسيًا، فتفقد المطابقة المباشرة معظم معناها. ثانيًا، حتى الحالات المخفية المتوافقة جيدًا ليست بالضرورة مناسبة لطبقات الطالب اللاحقة. فقد تشبه الحالات «الصحيحة» ومع ذلك لا تنفع حسابات الطالب الخاصة.

كيف تعمل OPMD

تعمل الطريقة على خطوتين. تبدأ ببناء «معلّم متوافق مع الطالب» (student-compatible teacher). يحوّل هذا المعلّم تمثيلات المعلّم الحقيقي إلى حالات وسيطة يمكن للجزء اللاحق من شبكة الطالب استخدامها. بعد ذلك تُستوعب هذه الحالات على مسارات on-policy: يولّد الطالب استمراراته الخاصة ويتعلم إعادة إنتاج الحالات الداخلية المطلوبة. أما كيفية تنفيذ المحوِّل تحديدًا فليست واضحة من الملخص، وسيلزم التحقق منها في النص الكامل للورقة.

الفكرة المحورية هي أن التوافق مع الطرف المتلقي يصبح جزءًا من صياغة المسألة. ويسمّي المؤلفون الناتج «آلية»: يحصل الطالب على بنية حسابية داخلية يستطيع تطبيقها، لا على نسخة جامدة من بنية غيره.

ما الذي أعلنه المؤلفون من نتائج

• ثلاث تهيئات معلّم–طالب: تتصدر OPMD في متوسط الدقة بين خطوط الأساس التقطيرية المقيَّمة في كل تهيئة منها.
• التقطير من عدة معلّمين: يمكن تعميم النهج على عدة معلّمين.
• SFT العابر للعائلات: تعمل الطريقة عند التدريب بين عائلات مختلفة من النماذج.
• تحليل الاستدلال: الإشراف على الآلية يمنح استدلالًا أكثر كفاءة.
• التغيّرات الداخلية: تتغير الحسابات الوسيطة للطالب واستراتيجيات حله للمسائل، أي أن المعلومات المنقولة تفوق ما تحتويه المخرجات.

النقطة الأخيرة مهمة من الناحية المنهجية. فقد يُفسَّر ارتفاع الدقة وحده بمجرد وجود إشارة تدريب إضافية. ويؤكد المؤلفون أنهم يرصدون تحولات بنيوية في الحسابات الداخلية، وهذا أقوى من مجرد سطر في جدول.

القيود والأسئلة

لا توجد حتى الآن بيانات عن كلفة الطريقة. فمن شبه المؤكد أن المرحلة الإضافية لبناء المعلّم المتوافق، والتدريب على الحالات المخفية، يزيدان التكاليف الحسابية وتعقيد خط المعالجة. وهناك سؤال آخر يتعلق بإمكانية الوصول: فنقل الحسابات الوسيطة يتطلب الوصول إلى التمثيلات الداخلية للمعلّم. وهذا ممكن مع النماذج مفتوحة الأوزان، أما النماذج المتاحة عبر API فقط فلا يناسبها هذا النهج. وأخيرًا، أُعلنت الريادة بين «خطوط الأساس المقيَّمة»، والمؤلفون أنفسهم هم من يحدد مجموعة هذه الخطوط.

ما الذي ينبغي اختباره عمليًا

على الفرق التي تضغط نماذج الاستدلال من معلّمين مفتوحين إلى طلاب مدمجين أن تضيف OPMD إلى قائمة المرشحين فور صدور الشيفرة والجداول الكاملة. والأولى هو التحقق من أزواج النماذج والمهام التي تحقق فيها المكسب، فالرياضيات والبرمجة والمعايير العامة تتصرف بشكل مختلف. بعد ذلك يجدر مقارنة كلفة التدريب مع OPD المعتاد عند ميزانية متساوية من ساعات GPU. وأكثر السيناريوهات إثارة للاهتمام هو السيناريو العابر للعائلات. فإن تأكد عبر إعادات إنتاج مستقلة، سيحصل المطورون على وسيلة لنقل القدرات بين المعماريات دون تاريخ تدريب مشترك.