تدقيق مقاييس grokking يكشف: التقديرات المبكرة لضغط التمثيل مبالغ فيها بعدة أضعاف

نشر باحثون في يوليو 2026 على arXiv تدقيقًا لطرق قياس «grokking»، وهي ظاهرة تعمّم فيها الشبكة العصبية النتيجة بشكل مفاجئ بعد أن تتوقف عن تحسين الدقة على بيانات التدريب. وأظهر التدقيق أن مقياس effective rank الشائع يبالغ بعدة أضعاف في تقدير درجة ضغط التمثيل داخل النموذج، إذا قيس مباشرةً لحظة انتقال grokking.

ما هو grokking ولماذا يصعب قياسه

Grokking ظاهرة تبدأ فيها الشبكة العصبية، المدرَّبة على مهام مثل الحساب النمطي (modular arithmetic)، بحفظ بيانات التدريب أولًا. ثم تعمّم القاعدة فجأة بعد عشرات الآلاف من خطوات التدريب، فتحل بشكل صحيح أمثلة لم ترها من قبل. ويربط الباحثون grokking كثيرًا بـ«ضغط» التمثيل الداخلي للشبكة (embedding)، ويستخدمون مقياس effective rank لقياس هذا الضغط.

ويبيّن مؤلفو التدقيق أن قياس effective rank لحظة انتقال grokking تمامًا، وهي ممارسة شائعة في هذا المجال، يعطي صورة مشوّهة: فضغط التضمين يستمر عشرات الآلاف من الخطوات بعد أن تكون الشبكة قد عمّمت المهمة بالفعل.

إلى أي مدى تتشوّه التقديرات

• في بنية MLP، يبالغ effective rank المقاس لحظة انتقال grokking في تقدير القيمة النهائية (المتقاربة) بمقدار 3-5 مرات
• في المحوّل المدرَّب حتى التقارب الكامل، تكون المبالغة أقل: 1,3-1,5 مرة
• في MLP، يؤدي هذا القياس المبكر أيضًا إلى «طمس» المعلومات حول الخلايا المحددة في التمثيل التي تنضغط فعلًا
• يبلغ تأخر الضغط عن الانتقال إلى الإجابات الدقيقة نحو الزمن الذي استغرقه grokking نفسه، أي ما لا يقل عن 10 000 خطوة تدريب
• تؤدي إضافة LayerNorm إلى المحوّل إلى خفض نسبة الضغط المنجزة لحظة grokking من 0,87 إلى 0,25

ماذا أظهر الفحص على مستوى البنية

كشفت تجربة استئصال (ablation) بمتغير واحد، أي تغيير معامل معماري واحد فقط لعزل تأثيره، أن LayerNorm هي التي تتحكم في حجم هذا التأخر. فبدونها يضغط المحوّل التمثيل بالتزامن تقريبًا مع انتقال grokking (0,87)، أما مع LayerNorm فيحدث الجزء الأكبر من الضغط بعد الانتقال (0,25). وقد استبعدت تجربة ضابطة مسجَّلة مسبقًا (pre-registered control) ثبات المقياس تجاه التحجيم (scale invariance) كتفسير بديل للظاهرة.

واختبر المؤلفون أيضًا «قانون العمق» الأضيق والخاص بـMLP، والذي يربط ميزانية التطبيع بقيمة الضغط المتقاربة. ووجدوا أن هذا القانون لا ينتقل إلى المحوّلات، بل ينقلب إشارته عند وجود weight decay حر. أي أنه غير مستقر خارج المجموعة الضيقة من الظروف التي استُخلص لها.

ماذا يعني ذلك

هذا العمل ليس مجرد مقياس جديد، بل تدقيق منهجي. إذ يقترح المؤلفون بروتوكولًا يفصل بين لحظة بدء التعميم ولحظة اكتمال الضغط، ويرصد حالات الحجب (censoring) التي يصطدم فيها المقياس بسقف القياس، ويستبعد الخلايا «الحدّية» في التمثيل التي لا تعمّم بالكامل أبدًا. وقد التقطت مجموعة الاختبارات الخصومية (adversarial) التي أعدّوها خطأ ثقة زائفة (false-confidence) في فرع الكود الخاص بهم، وهو ما يبرز مدى سهولة الحصول على نتيجة واثقة في ظاهرها لكنها خاطئة عند قياس grokking بشكل سطحي. وقد أُتيح الكود وأدوات التدقيق للعموم.

وبالنسبة إلى الباحثين في قابلية التفسير، يعني ذلك مراجعة الممارسات المتّبعة. فإذا استند بحث عن بنية شبكة عصبية إلى effective rank مقيسًا في لحظة زمنية واحدة، أي فور أن بدأ النموذج بحل المهمة بشكل صحيح، فمن المرجح أن استنتاجات درجة ضغط التمثيل مبالغ فيها وتحتاج إلى إعادة تحقق على نموذج متقارب. وثمة درس آخر يتعلق بالمكوّنات المعمارية مثل LayerNorm: فوجودها أو غيابها قد يغيّر جذريًا لا حقيقة حدوث grokking نفسها، بل ديناميكية ما يجري لتمثيل الشبكة بعده. ومن ثم فإن مقارنة نتائج التجارب على MLP والمحوّلات مباشرةً، دون تصحيح يراعي البنية، محفوفة بالمخاطر أيضًا.