باحثون يجدون في Pythia نافذة تمتد على 0,4–1,1% من التدريب المسبق تُعاد فيها هيكلة readout

يسود الاعتقاد أن النموذج اكتسب مهارة ما في اللحظة التي بدأ فيها بإخراج الرمز (token) الصحيح. غير أن ورقة بحثية جديدة منشورة على Hugging Face Daily Papers تُظهر أن هذا المنطق يُنتج إزاحة في التقدير. فقد تحمل الحالات المخفية معلومات عن المهمة قبل أن يعبّر عنها خرج النموذج. وعلى مثال Pythia، وجد المؤلفون نافذة ضيقة، تبلغ 0,4–1,1% من مسار التدريب المسبق، تُعاد فيها هيكلة مصفوفة unembedding (readout) وتظهر في صفوفها فئات WordNet.

الخرج أيضًا يتعلّم

يمر التنبؤ بالرمز عبر مصفوفة unembedding، التي تحوّل الحالة المخفية إلى logits على مستوى المفردات. وتتدرب هذه المصفوفة في الوقت نفسه مع بقية أجزاء النموذج. لذلك فإن الرسم البياني السلوكي، الذي ترتفع فيه الدقة اعتبارًا من الخطوة N، يخلط بين عمليتين: ما رمّزه النموذج داخليًا بالفعل، وما تعلّمه readout أن يعبّر عنه خارجيًا.

اختبر المؤلفون ذلك بشكل مباشر. فالمجسّات الخطية (linear probes) المطبّقة على الحالات المخفية في نقاط التحقق المبكرة تفك ترميز معلومات المهمة بالفعل، بينما لا تُظهرها مخرجات النموذج نفسه بعد. وينشأ بذلك فارق بين المعرفة وظهورها، وهو ما يشوّه تحديد تواريخ كثير من «الانتقالات» في تطور النموذج.

Parameter-trajectory crosscoding

لتتبّع readout، اقترح الباحثون parameter-trajectory crosscoding. تدرّب الطريقة قاموسًا متفرقًا (sparse) واحدًا على صفوف readout لكل رمز في كل نقطة تحقق. أما الـ crosscoders التقليدية فتعمل على التنشيطات (activations) وتتطلب تمرير البيانات عبر النموذج. أما هنا فلا يلزم سوى أوزان نقاط التحقق، ما يبسّط تحليل النماذج المفتوحة التي حُفظ سجل تدريبها بشكل ملحوظ.

أبرز الملاحظات:

• نافذة إعادة تنظيم readout في Pythia: 0,4–1,1% من التدريب المسبق؛
• في هذه النافذة تصبح فئات WordNet قابلة لفك الترميز من صفوف readout؛
• بنهاية النافذة تقرأ المجسّات على الحالات المخفية معلومات غير موجودة في المخرجات؛
• يتطلب التحليل أوزان نقاط التحقق فقط، دون تنشيطات؛
• عند رفع معدل التعلّم (learning rate) الخاص بـ readout، لا تتغير الخسارة النهائية (loss) إلا قليلًا.

تجربة ضابطة على معدل التعلّم

الارتباط وحده لا يكفي، لذا أجرى المؤلفون تدخلًا تجريبيًا. فقد درّبوا من الصفر نماذج صغيرة لا تختلف إلا في معدل التعلّم الخاص بـ readout. وإذا كان الفارق تحدده سرعة تعلّم طبقة الخرج، فيجب أن يتحرك معها.

وهذا ما حدث. فعند رفع معدل التعلّم الخاص بـ readout يتشكل مبكرًا، ويُغلق الفارق بين الحالة المخفية والخرج بسرعة أكبر. ولا تتأثر الخسارة النهائية (loss) إلا قليلًا. أي أن سرعة تعلّم readout تؤثر في توقيت ظهور القدرة من الخارج، لكنها لا تؤثر في ما ينتهي إليه النموذج في الختام.

كيف تستخدم النتيجة عمليًا

يتعلق الاستنتاج بالمرحلة المبكرة من التدريب، وهي المرحلة التي تُؤرَّخ فيها انتقالات «مفاجئة» كثيرة. وإذا كنت ترسم منحنيات ظهور القدرات، فلا يكفي مقياس واحد قائم على المخرجات. فمن الأفضل وضع مجسّات خطية على الحالات المخفية إلى جانبه ومقارنة التواريخ: إذا سبقت المجسّات الخرج، فالأرجح أنك تقيس نضج readout لا ظهور المهارة.

وبالنسبة إلى من يدرّبون نماذجهم الخاصة، فهذا سبب إضافي للنظر في معدل تعلّم منفصل لـ unembedding. وقد اختُبر العمل على نماذج صغيرة وعلى Pythia، لذا ينبغي توخي الحذر عند تعميم النتائج على البنى الحديثة الكبيرة. لكن الأداة قابلة للتطبيق بالفعل على نقاط التحقق المفتوحة، لأن الأوزان متاحة لدى الجميع.