تضمينات الرموز شبه الصفرية تُلغي نحو 20% من خطوات الضبط الدقيق لنماذج gated على لغة التيلوغو

إذا كنت تواصل تدريب نموذج مفتوح يعتمد على البوابات — مثل Mamba أو Gated DeltaNet أو xLSTM، أي بنية تكرارية تنظّم فيها «البوابات» الوصول إلى الحالة المتراكمة — فقد لا تغيّر نسبة ملحوظة من خطوات التحسين الأوزان إطلاقًا. والسبب ليس خطأً في البيانات، بل رموز يكاد معيار تضميناتها المُدخلة ينعدم. في نماذج gated هذه، يضخّم رمز واحد من هذا النوع التدرجات بعشرات الرتب العشرية، ثم يحوّل القصّ القياسي للتدرجات هذا الانفجار إلى إلغاء كامل للتحديث. وعند continual pretraining على لغة التيلوغو يضيع بهذه الطريقة نحو 20% من الخطوات، دون أي استثناءات أو تحذيرات في السجلات.

من أين تأتي الصفوف «الصفرية» في نقاط التحقق

فحص الباحثون 291 مستودعًا مفتوحًا على Hugging Face (280 جدول تضمين مختلفًا). وقرؤوا الأوزان والمُجزّئ مباشرة عبر طلبات HTTP byte-range. ولاستبعاد المدخلات الخدمية وغير القابلة للوصول، مرّروا كل صف مشبوه عبر فحص: فكّوا ترميز المعرّف (ID) ثم أعادوا تجزئته، منفردًا وضمن ثمانية قوالب عبارات. ولم يُعدّ الرمز قابلًا للوصول إلا إذا أعاد الفحص المعرّف نفسه.

من بين 291 مستودعًا، يحتوي 92 على صفوف ذات معيار صغير جدًا، و67 منها (23,0%) تحتوي على رموز قابلة للوصول وتضميناتها شبه صفرية. وبين 101 نموذج ذات مصفوفتي إدخال وإخراج مرتبطتين، لا يوجد أي رمز من هذا النوع. أما بين 190 نموذجًا بمصفوفات منفصلة فتوجد هذه الرموز في 67 نموذجًا (35,3%). وتبلغ النسبة 30,9% في نماذج Transformer التقليدية، و52,6% في النماذج gated والهجينة (20 من 38).

يعود السبب إلى مرحلة التدريب المسبق. فالرمز الذي لم يظهر في النص ولو مرة واحدة لا يتلقى تدرجًا في صف الإدخال. لكن AdamW القياسي يطبّق weight decay على جميع المصفوفات ثنائية الأبعاد، فيتقلص الصف غير المستخدم خطوة بعد خطوة نحو الصفر.

أما صف الإخراج فيتلقى في كل خطوة تدرجات softmax غير صفرية ويبقى سليمًا: ففي 92% من 979 رمزًا خضعت للفحص (901) لا تقل معايير الإخراج عن وسيط القاموس. وعندما تكون الأوزان مرتبطة، تحافظ تدرجات الإخراج نفسها على المقياس الطبيعي. وفي عينة من 364 مليون رمز، تعود جميع الصفوف شبه الصفرية الـ251 إلى رموز لم ترد ولو مرة.

والصفوف المتأثرة صفوف عادية: أجزاء كلمات من التيلوغو والباسكية، وكلمات منغولية بالحرف السيريلي، ومقاطع من الشيفرة تحتوي على CRLF. وترث النماذج المضبوطة دقيقًا والمقطّرة هذه الصفوف من نقاط التحقق الأساسية.

لماذا تتضرر نماذج gated تحديدًا

في Transformer لا توجد مشكلة عندما لا يكون الرمز في الموضع الأول. فطبقة الانتباه الأولى تحسب متوسط قيم الرموز السابقة ذات المقياس الطبيعي، وتعيد الإشارة إلى النطاق العملي. والأمر نفسه يحدث إذا كان BOS في بداية التسلسل.

أما في البنى التكرارية gated، فتُضرب قراءة الحالة التاريخية في دالة من الرمز الحالي، أي البوابة أو الاستعلام الخطي. وعندما يكون الإدخال صفريًا يؤول المضروب أيضًا إلى الصفر، فيتقلص إسهام التاريخ. ويبقى المتجه المتبقي شبه صفري عبر عدة كتل متتالية، بينما يضرب Pre-RMSNorm في كل طبقة التدرجات العكسية بمعامل كبير. ويتراكم الأثر مع العمق: إذ تنمو تدرجات تضمينات الإدخال بأكثر من 30 رتبة عشرية (حتى 35). وتبلغ النماذج الهجينة سقفًا، بينما تواصل نماذج gated الخالصة النمو.

وتحقق الباحثون من العلاقة السببية بالتدخل المباشر: فتحوا بوابة الطبقة الأولى في المرور الأمامي مع الإبقاء على جميع المشتقات العكسية، فانخفض التدرج انخفاضًا حادًا. أما تعطيل المشتقة العكسية للبوابة وحده فلم يزل المشكلة.

التصفير الصامت للدفعة وطريقتان للعلاج

بعد ذلك يعمل القصّ بالمعيار العام. فكل من PyTorch وHuggingFace Trainer وFSDP2 يجمع مربعات التدرجات بدقة FP32. وإذا كان مدخل واحد فقط كبيرًا أكثر من اللازم، ينتج عن تربيعه ما لا نهاية. فتُقسَّم التدرجات على معيار لانهائي وتتحول إلى أصفار. ثم يخطو AdamW بالاعتماد على العزم القديم وweight decay على بقية الشبكة فقط، ويبقى الصف الجديد شبه الصفري ذو العزم الصفري مجمّدًا ويفسد الدفعات التالية. ولا يحدث هذا الخلل في الاستدلال ولا في roll-outs الخاصة بـ on-policy RL، لكن تحديث RL الكامل للمعاملات على prompts تحتوي على وسوم دردشة شبه صفرية يفجّره.

يقترح الباحثون حلّين دون أي كلفة إضافية في زمن الخطوة أو ذروة الذاكرة:

• قصّ تضمينات الإدخال بشكل منفصل. يُحسب المعيار بمعزل عن بقية الأوزان، بحساب 64-بت أو مع إعادة تحجيم، ويتطلب ذلك ثلاثة أسطر من الشيفرة. تختفي خسائر التحديثات، ويُعالَج الصف المتأثر في خطوة واحدة. ولا حاجة إلى فحص القاموس ولا إلى تغيير البنية.
• انحياز موجب للبوابة عند التدريب المسبق من الصفر. تبقى البوابة موجبة عند الإدخال الصفري، فتمرّر الطبقة الأولى حالة غير صفرية. تنخفض التدرجات شبه الصفرية بأكثر من 28 رتبة عشرية في نماذج حتى 370M معامل، وتظل perplexity على بيانات التحقق مماثلة للنموذج الأساسي.

أما تعطيل weight decay للتضمينات في نقاط تحقق صدرت بالفعل فلن يفيد: فالانفجار يحدث في الخطوة الأولى. وعند التدريب من الصفر لا يكفي هذا التعطيل وحده أيضًا، إذ تواصل الكتل تضخيم التدرجات عندما تكون تهيئة المعايير صغيرة.

والخلاصة العملية بسيطة. إذا كنت تضبط ضبطًا دقيقًا نقطة تحقق gated غير مرتبطة الأوزان على لغة منخفضة الموارد أو بوسوم دردشة خاصة بك، فتحقق من معايير صفوف تضمين الإدخال، وافصل قصّها عن بقية الأوزان.