RGR يحمي نماذج LLM من فقدان المهارات أثناء التقطير الذاتي عبر هندسة التمثيلات

النموذج الذي يعلّم نفسه يرفع متوسط درجاته في الاختبارات المعيارية، لكنه في الوقت نفسه ينسى بصمت مهامَّ كان يحلّها سابقًا. هذا هو الأثر الذي رصده مؤلفو الإصدار الأولي arXiv:2610.12855 في عائلة طرق التقطير الذاتي on-policy (OPSD). وقد اقترحوا أيضًا علاجًا له: تنظيم هندسة التمثيلات، أي RGR.

كيف يعمل OPSD وأين يتعطل

في OPSD يؤدي نموذج اللغة نفسه دورين: المعلّم والطالب. ولا يختلف الدوران إلا في السياقات التي يعمل ضمنها النموذج. لا حاجة إلى نموذج خارجي قوي للتقطير، إذ يستمد النموذج إشارة التدريب من نفسه. وهذا مريح في مرحلة ما بعد التدريب: فهو أقل كلفة، وأسهل في التوسع، ولا يعتمد على أوزان تعود إلى جهات أخرى.

لكن الثمن ظهر عند تحليل التدريب على مستوى الاستعلامات الفردية بدلًا من المتوسط. فالاستعلامات التي أجاب عنها النموذج بشكل صحيح في المراحل المبكرة بدأ يحلّها بشكل خاطئ مع تقدّم التحسين. وفي الوقت نفسه واصل المقياس العام ارتفاعه: عوّضت المكاسب الجديدة الخسائر، فبدا كل شيء على ما يرام في الرسم البياني. وإذا اقتصرت المتابعة على المتوسط النهائي، يسهل تفويت المشكلة.

هندسة التمثيلات الكامنة كمؤشر

ربط المؤلفون التدهور بتغيّر بنية التمثيلات الكامنة. فبحسب ملاحظاتهم، تصبح التمثيلات داخل العناقيد أقل تماسكًا، وتزداد صعوبة فصل العناقيد بعضها عن بعض. وببساطة، يبدأ النموذج «بخلط» ما كان يميّز بينه سابقًا، ويفقد معه جزءًا من مهاراته السابقة.

على هذه الملاحظة بُني RGR. تضيف الطريقة تنظيمًا يقوم، أثناء مرحلة ما بعد التدريب، بما يلي:

• يحافظ على تماسك التمثيلات داخل العنقود الواحد؛
• يبقي الفصل بين العناقيد؛
• يُدمج في طرق OPSD القائمة دون تغيير إجراء التحسين الأساسي فيها؛
• جرى اختباره على عدة طرق OPSD وعدة اختبارات معيارية، والكود مفتوح على GitHub (المستودع supermachinelearner/RGR).

صيغت خلاصة الملخص بحذر: فـ RGR «بشكل عام» يخفف التدهور ويحافظ على مكاسب القدرات. ولا يتضمن نص الملخص أي أرقام محددة، لذا لا يمكن تقدير حجم الأثر إلا من النسخة الكاملة للورقة ومن المستودع نفسه.

ما المهم هنا وما غير الواضح بعد

قيمة العمل في التشخيص لا تقل عنها في الطريقة نفسها. فالنسيان أثناء التحسين الذاتي يُرصد على مستوى الاستعلامات الفردية، وتعمل هندسة التمثيلات كمؤشر بديل (proxy) قابل للقياس له. ويمكن حساب هذا المؤشر أثناء التدريب، واكتشاف الانحراف قبل أن تتراجع نتائج الاختبارات المعيارية.

وتبقى أسئلة مفتوحة لا يجيب عنها الملخص: كيف تُحدَّد العناقيد بالضبط، وكم يضيف المُنظِّم من حسابات، وكيف تتصرف الطريقة مع النماذج الكبيرة وجولات التدريب الطويلة. كما أن عبارة «بشكل عام» تعني أن الأثر قد يكون أضعف في بعض تركيبات الطرق والمهام.

ما الذي ينبغي اختباره عمليًا

إذا كان فريقكم يجرّب التقطير الذاتي أو أنماطًا أخرى من التحسين الذاتي، فمن المفيد إضافة خطوتين إلى التقييم. الأولى: تتبّع ليس متوسط الدرجات فحسب، بل أيضًا نسبة الاستعلامات التي حلّها النموذج في نقاط التفتيش المبكرة ثم توقف عن حلّها. والثانية: مقارنة جولات التدريب مع RGR وبدونه على بياناتكم الخاصة. وبما أن الطريقة لا تغيّر حلقة التحسين الأساسية، يُفترض ألا يكون ربطها بخط معالجة OPSD جاهز أمرًا صعبًا، كما يتيح الكود المفتوح التحقق من الأثر المُعلَن قبل اتخاذ قرارات التحول إليها.