مبرهنة «الصلع» لنماذج المحولات: نسيان التوجيه يخضع لقانون القوة t^-α بقيمة α≈0.55–0.7

ما مقدار ما يتذكره نموذج المحول (Transformer) من التوجيه بعد توليد t من الرموز؟ قاس مؤلفو ورقة بحثية نُشرت ضمن Hugging Face Daily Papers هذا الأثر مباشرة، وتوصلوا إلى خضوعه لقانون قوة. تتناقص المسافة بين الحالات الخفية لتوجيهين مختلفين متبوعين بالتكملة ذاتها بمعدل يقارب t^{-α}. تبلغ قيمة المعامل α في النماذج المدربة نحو 0.55–0.7، مقارنة بنحو 0.2–0.5 في النماذج غير المدربة. للمقارنة، تمثل القيمة α=1 المعدل الذي تتقلص به حصة توجيه ثابت في آلية انتباه متساوية التوزيع مع نمو طول السياق؛ وكلما انخفضت قيمة α، طالت مدة بقاء الذاكرة.

كيف تم قياس النسيان؟

يعتمد تصميم التجربة على فكرة بسيطة: استخدام توجيهين مختلفين مع إلحاق نص التكملة نفسه بهما بدقة. وبذلك، يعود أي اختلاف يُرصد في الحالات الخفية عند الموضع t إلى التوجيه حصراً، لا إلى النص المولد بعده. يتبقى بعد ذلك تتبع كيفية اضمحلال هذا الفارق مع تزايد t.

وجاءت النتيجة غير متوقعة؛ إذ تنسى الشبكة المدربة أسرع من الشبكة ذات الأوزان الابتدائية العشوائية، حيث يبلغ المعامل 0.55–0.7 مقابل 0.2–0.5. يقرب التدريب النموذج من المعيار المرجعي α=1 دون أن يبلغه تماماً. وتؤدي الحصة الثابتة للتوجيه في الانتباه المتساوي التوزيع إلى معدل 1/t بالضبط، بينما تضمحل النماذج الفعلية بوتيرة أبطأ.

المبرهنة وشروطها

لعمق منتهٍ L وتوجيه بطول P، يثبت الباحثون تقديراً رياضياً قدره O(P(log t)^{L-1}/t). ينطبق هذا الإثبات على محولات pre-LN المزودة بانتباه softmax مع لوجيتات انتباه محدودة، واشتراطٍ إضافي يتمثل في عدم اقتراب التنشيطات قبل المعايرة من الصفر، وهو القيد الذي يجعل المبرهنة مشروطة.

تعتمد الآلية الرياضية على الهندسة الفضائية؛ إذ يتخفف التأثير المباشر للتوجيه لتوزع الانتباه على عدد متزايد باستمرار من الرموز. وهناك أيضاً مسار التفافي يصفه الباحثون بـ «التتابع» (relay): حيث تقرأ رموز التكملة معلومات من التوجيه وتنقلها إلى ما يليها. إلا أن هذا التتابع لا يضيف إلى الاضمحلال سوى عوامل لوغاريتمية، دون أن يغير الأس الرياضي. ومن هنا استُمد الاسم تشبيهاً بـ «مبرهنة الصلع» (No-hair theorem) للثقوب السوداء، حيث لا يتبقى في الخارج سوى قليل من المعلومات عما استقر في الداخل. وإذا تم تثبيت النص المولد بالفعل، فإن تأثير التوجيه على الرمز التالي يتلاشى تدريجياً حتى ينعدم؛ وكل ما يتبقى، مثل لغة الإجابة، ينبغي أن يُحمل عبر النص ذاته.

ما أثبتته التجارب التأكيدية

أظهر نموذج خطي قابل للحل بدقة ويعتمد على التتابع استحالة تحسين هذا الحد النظري، كما أعاد إنتاج الزيادة في المعامل المحلي نحو القيمة 1، وهي الظاهرة المرصودة في الشبكات غير المدربة.

وفي تجربة ضبط مستقلة، أُضيفت قيمة إزاحة (bias) إلى اللوجيتات لتعويض أثر التخفيف. وفي المراحل الأولى من التدريب توقف الاضمحلال، ثم انعكس مساره لاحقاً. يثبت ذلك أن التخفيف شرط ضروري لحدوث النسيان المرصود، كما تؤكد الشبكات غير المدربة والنموذج القابل للحل أنه شرط كافٍ أيضاً.

الأرقام والنتائج المحورية للدراسة:

• اضمحلال المسافة بين الحالات الخفية: t^{-α}.
• النماذج المدربة: α≈0.55–0.7.
• النماذج غير المدربة: α≈0.2–0.5.
• معيار التخفيف المرجعي: α=1.
• الحد الأقصى المُثبَت: O(P(log t)^{L-1}/t)، حيث P طول التوجيه وL يمثل العمق.
• الشروط: عمق منتهٍ، معمارية pre-LN، انتباه softmax، لوجيتات محدودة، وتنشيطات بعيدة عن الصفر.

الأثر العملي للمهندسين

تحمل الورقة طابعاً نظرياً ولا تقدم حلولاً جاهزة لبيئات الإنتاج، لكن دلالاتها واضحة؛ ففي سياقات التوليد الطويلة، يفقد التوجيه الأساسي (system prompt) تأثيره المباشر وفق قانون قوة، ولا تصمد التعليمات إلا بمقدار انعكاسها في النص المكتوب بالفعل. بناءً على ذلك، من المفيد ترسيخ القيود الحيوية ضمن أولى رموز الإجابة، أو إعادة إدراجها دورياً داخل السياق. أما لمطوري المعماريات، فالنتيجة مغايرة: إذا تطلب التطبيق ذاكرة طويلة الأمد لبداية السياق، سيتعين تعديل آلية الانتباه نفسها، كإضافة إزاحات للوجيتات على غرار تجربة الضبط. وتلك مهمة هندسية قائمة بذاتها، فالبرهان يصف محول pre-LN القياسي ولا ينطبق على أي تصميم ذاكرة بديل.

ويتطلب الأمر حذراً من جانب آخر؛ فالحد الرياضي يمثل حداً أقصى (upper bound)، والقياسات تناولت الحالات الخفية لا جودة المخرجات الإجمالية. ويبقى الربط الدقيق بين قيمة α ومستوى الامتثال للتعليمات في المهام الواقعية بحاجة إلى تحقق واختبار مستقلين.