ByteDance Seed تقترح جدول معدل التعلم AIR: خطأ نهائي أقل بنحو 0.01 من cosine

اقترح باحثون في ByteDance Seed (Qifan Yu وXinyu Ma وXingyan Bin وDi He) جدولاً لمعدل التعلم باسم AIR. وفي التدريب المسبق لنموذج Mixture-of-Experts (MoE) على 128 مليار توكن، خفّض هذا الجدول الخطأ النهائي على بيانات التدريب (training loss) بنحو 0.01 مقارنة بالخفض الجيبي لحجم الخطوة (cosine). وأُجريت المقارنة عند تساوي مجموع الخطوات على مدار التدريب كله. والمقصود بمعدل التعلم (learning rate, LR) هنا حجم الخطوة التي يغيّر بها المُحسِّن أوزان النموذج. وعادةً يُخفَّض هذا المعدل أثناء التدريب، وغالباً وفق منحنى جيبي.

لماذا ظهر الحديث عن تطبيع الأوزان أصلاً

لضبط حجم الأوزان يُستخدم عادةً weight decay (WD)، وهو يسحب الأوزان قليلاً نحو الصفر في كل خطوة. وفي الآونة الأخيرة بدأ النظر إلى weight normalization (WN)، أي التدريب بأوزان مطبَّعة، بوصفه بديلاً. وأفادت عدة أبحاث بمكسب ملحوظ في loss أثناء التدريب المسبق.

فحص المؤلفون مصدر هذا المكسب وتوصلوا إلى تفسير مختلف. ففي WN يتحول معدل التعلم الاسمي إلى حجم فعلي للتحديث يختلف عمّا هو عليه في WD. وينتج عن ذلك مسار خاص لمعدل التعلم الفعّال (effective learning rate, ELR). ضبط الباحثون ELR في الطريقتين بحيث تتطابق المسارات. وعندها كادت منحنيات loss في WN وWD تندمج. أي أن شكل ELR هو الذي حقق المكسب، لا التطبيع في ذاته.

والخلاصة العملية: ينبغي بناء الجدول وفق ELR، لا وفق معدل التعلم الاسمي وحده.

كيف يعمل AIR

يشير الاسم إلى Affine Inverse-square-Root decay، أي الخفض الأفيني وفق مقلوب الجذر التربيعي. ويتكون الجدول من جزأين.

• الأساس. تنخفض الخطوة طردياً مع 1/√t، حيث t هو رقم خطوة التدريب. واشتق المؤلفون هذه الصيغة نظرياً. • التصحيح. تحويل خطي (أفيني). فالتدريب يستمر زمناً محدوداً، والخفض الصافي وفق 1/√t لا يعطي القيم المطلوبة في البداية والنهاية. ويتيح التصحيح تحديد قيمتَي LR القصوى والنهائية مسبقاً.

وكما في cosine، يحدد المستخدم نقطتين حديّتين: الذروة والنهاية.

وهناك ملاحظة أخرى عن المرحلة المتأخرة. فإذا تماثل ذيل جدول ELR في عدة عمليات تدريب، فإنه يضعف تأثير خيارات LR السابقة. ويعدّ المؤلفون التخطيط المتأخر لـELR أحد المصادر الرئيسية للمكسب.

ماذا أظهرت التجربة

أُجري الاختبار على تدريب مسبق لنموذج MoE على 128 مليار توكن. وفي MoE لا يعمل مع كل توكن سوى جزء من الكتل الخبيرة. وقورن AIR بـcosine وبجداول مرشحة أخرى. وكانت النتائج كما يلي:

• training loss أقل مع AIR. فالخطأ النهائي أقل بنحو 0.01 مقارنة بـcosine عند تساوي مجموع LR على مدار التدريب كله. • AIR أفضل أيضاً في الجودة على المهام التطبيقية (downstream). • الجدول أكثر ثباتاً أمام اختيار المعاملات الفائقة.

وفي تجربة منفصلة طُبّق مسار ELR نفسه على weight decay المعتاد، فتكررت ديناميكية التدريب. ويخلص المؤلفون إلى أن الفائدة لا تقتصر على التدريب بنُظم أوزان ثابتة، ويصفون ELR بأنه الكائن الذي ينبغي التخطيط له.

ماذا يعني ذلك عملياً

فارق 0.01 في loss صغير، لكنه تحقق بتغيير جدول الخطوة وحده. ويقدّم البحث ثلاثة مرتكزات عملية:

• التحقق من الكيفية التي يحوّل بها نظام الأوزان والمُحسِّن لديكم معدل التعلم الاسمي إلى معدل فعّال؛ • تجربة جدول AIR الذي لا يتطلب سوى تحديد LR القصوى والنهائية؛ • إيلاء مزيد من الاهتمام لنهاية التدريب، لأن الذيل المشترك للجدول يضعف تأثير الإعدادات السابقة.

وتصف الملخصات التجارب على تدريب مسبق لنموذج MoE بحجم 128 مليار توكن. ولا تذكر شيئاً عن أحجام نماذج أو كميات بيانات أخرى.

نُشر البحث على arXiv تحت الرقم 2610.40362 وأُدرج ضمن قائمة Hugging Face Daily Papers.