أظهرت عملية تدقيق مقاييس grokking: تقديرات مبكرة لضغط التمثيل مبالغ فيها عدة مرات

نشر الباحثون في يوليو 2026 عملية تدقيق لطرق قياس "grokking" على arXiv — التأثير حيث تعمم الشبكة العصبية فجأة النتائج بعد التوقف عن تحسين الدقة على مجموعة التدريب — وأظهروا أن مقياس effective rank الشهير يبالغ في درجة ضغط التمثيل في النماذج بمقدار عدة أضعاف عند قياسها في اللحظة المحددة لانتقال grokking.

ما هو grokking ولماذا من الصعب قياسه

Grokking هو ظاهرة تقوم فيها شبكة عصبية مدربة على مهام مثل الحساب المعياري أولاً بحفظ مجموعة التدريب، ثم — بعد عشرات الآلاف من خطوات التدريب — تعمم فجأة النمط وتبدأ في حل الأمثلة التي لم تشاهدها من قبل بشكل صحيح. غالباً ما يربط الباحثون grokking بـ "الضغط" للتمثيل الداخلي للشبكة (embedding)، ويستخدمون مقياس effective rank لقياس هذا الضغط.

يوضح مؤلفو التدقيق أن قياس effective rank في اللحظة المحددة لانتقال grokking — وهي ممارسة شائعة في المجال — ينتج صورة مشوهة: يستمر ضغط التمثيل لعشرات الآلاف من الخطوات بعد أن تكون الشبكة قد عممت المهمة بالفعل.

كم مشوهة التقديرات

• في بنية MLP، يبالغ effective rank المقاس عند انتقال grokking في القيمة النهائية (المتقاربة) بمقدار 3-5 مرات
• على محول تم تدريبه حتى التقارب الكامل، المبالغة أقل — 1.3-1.5 مرات
• على MLPs، يؤدي هذا القياس المبكر أيضاً إلى "محو" معلومات حول خلايا التمثيل التي يتم ضغطها بالفعل
• الفارق الزمني بين الضغط والانتقال إلى الإجابات الصحيحة يكون تقريباً مساوياً للوقت المستغرق في grokking نفسه — على الأقل 10،000 خطوة تدريب
• إضافة LayerNorm إلى محول يقلل جزء الضغط المكتمل عند لحظة grokking من 0.87 إلى 0.25

ما الذي كشفته التحقق من البنية

كشفت تجربة الاستئصال ذات المتغير الواحد — بتغيير معامل بنية واحد فقط لعزل تأثيره — أن LayerNorm تتحكم بشكل محدد في حجم هذا التأخير: بدونها، يضغط المحول التمثيل بشكل متزامن تقريباً مع انتقال grokking (0.87)، بينما مع LayerNorm يحدث معظم الضغط بعد ذلك (0.25). استبعدت تجربة تحكم مسجلة مسبقاً عدم الثبات على الحجم كتفسير بديل للتأثير.

اختبر المؤلفون أيضاً "قانون العمق" الأضيق والمحدد لـ MLP الذي يربط ميزانية التطبيع بقيمة الضغط المتقاربة — واكتشفوا أن القانون لا ينتقل إلى المحولات وحتى يعكس الإشارة مع تحلل الوزن الحر، مما يعني أنه يعمل بعدم استقرار خارج المجموعة الضيقة من الشروط التي تم اشتقاقه لها في الأصل.

ما معنى هذا

هذا العمل ليس مجرد مقياس جديد، بل تدقيق منهجي: يقترح المؤلفون بروتوكولاً يفصل اللحظة التي تبدأ فيها التعميم عن لحظة اكتمال الضغط، ويحتفل بحالات الرقابة (عندما يصل المقياس إلى سقف القياس)، ويستبعد خلايا التمثيل "الحدية" التي لا تعمم بالكامل أبداً. اكتشفت مجموعة الاختبارات الخصومية الخاصة بهم خطأ ثقة خاطئة في فرعهم الخاص بالكود — مما يسلط الضوء على مدى سهولة الحصول على نتائج واثقة بشكل خادع لكن غير صحيحة من قياس سطحي لـ grokking. يتم إطلاق كود التدقيق والأدوات علناً.

بالنسبة لباحثي القابلية للتفسير، هذا يعني إعادة النظر في الممارسة: إذا اعتمدت ورقة عن بنية الشبكة العصبية على effective rank المقاس في لحظة واحدة من الزمن — مباشرة بعد أن بدأ النموذج في حل المهمة بشكل صحيح — فمن المحتمل أن تكون الاستنتاجات حول ضغط التمثيل مبالغاً فيها وتحتاج إلى إعادة فحص على النموذج المتقارب. درس منفصل يتعلق بمكونات معمارية مثل LayerNorm: يمكن لوجودها أو غيابها أن يغير بشكل جذري ليس حقيقة grokking نفسه، بل ديناميكية ما يحدث لتمثيل الشبكة بعد ذلك، مما يعني أن مقارنة نتائج التجارب على MLPs والمحولات مباشرة، بدون تصحيح معماري، محفوفة بالمخاطر.