NVIDIA تبتكر طريقة لتدريب الشبكات العصبية بدقة 4 بت

كشفت NVIDIA عن NVFP4، وهي منهجية جديدة لتدريب الشبكات العصبية بدقة 4 بت. وتتيح هذه المنهجية توفيرًا كبيرًا في الذاكرة والموارد الحاسوبية عند تدريب النماذج الكبيرة.

كيف تعمل؟

يعتمد النهج المعتاد على دقة 8 بت (FP8) أو 16 بت (BF16) لتخزين النتائج الوسيطة وتدرجات التدريب (gradients). وقد نجحت NVIDIA في خفض متطلبات الذاكرة هذه إلى النصف عبر الانتقال إلى صيغة NVFP4 ذات 4 بت.

ولا تكتفي الطريقة بتقليص الدقة، بل تجمع بين عدة تقنيات: الاستخدام الانتقائي لصيغة BF16 الأعلى دقة في الطبقات الحرجة من النموذج، وتحويلات رياضية خاصة تُطبَّق على بيانات التدرجات المُدخلة (تحويلات هادامارد العشوائية بحجم 16×16)، إضافةً إلى التقريب العشوائي (stochastic rounding) أثناء الحسابات.

كان التدريب بدقة 4 بت يُعدّ تقليديًا محفوفًا بالمخاطر، إذ تتراكم أخطاء التقريب خلال التدريب الطويل وتؤدي إلى تدهور النموذج. واختبرت الشركة NVFP4 على نموذج هجين من نوع Mamba-Transformer بحجم 12 مليار معامل، دُرِّب على 10 تريليونات رمز (توكن)، وهي أطول تجربة علنية للتدريب بدقة 4 بت. ويثبت ذلك أن الأخطاء العددية لا تتراكم بصورة كارثية متى اعتُمدت المنهجية الصحيحة.

نتائج فاقت التوقعات

كان المقياس الرئيسي هو الدقة على اختبار MMLU-Pro، وهو اختبار معرفي واسع يغطي الرياضيات والعلوم الطبيعية والعلوم الإنسانية ومجالات أخرى. وسجّل نموذج NVFP4 نسبة 62.58%، أي أقل بـ0.04% فقط من النموذج المدرَّب بطريقة FP8 التقليدية (62.62%). وفي التطبيقات العملية، لا تُعدّ هذه الفجوة ذات أهمية، فهي ضمن هامش خطأ القياس.

وفي ظل توفير الذاكرة بمقدار الضعف، تُعدّ هذه حالة نادرة لم يؤدِّ فيها خفض دقة تمثيل الأعداد إلى تراجع ملحوظ في جودة النتائج. وهذا يعني أن NVFP4 لا تضحّي بالصحة والدقة مقابل توفير الموارد.

• خفض الذاكرة: بمقدار الضعف مقارنةً بـFP8
• خسارة الدقة على الاختبار المعياري: أقل من 0.1%
• حجم التجربة: 10 تريليونات رمز (توكن)
• البنية المعمارية: نموذج هجين من نوع Mamba-Transformer بحجم 12 مليار معامل

ماذا يعني ذلك للصناعة؟

تكتسب هذه النتيجة أهمية للشركات التي تدرّب النماذج من الصفر. فتوفير الذاكرة بمقدار الضعف يعني إمكانية إنجاز الحجم نفسه من الحسابات بسرعة أكبر أو بتكلفة أقل، أو توجيه الموارد الموفَّرة إلى تدريب نماذج أكبر. فإذا كانت شركتك تدرّب نموذجًا يستهلك 1000 يوم-GPU على A100، فقد تخفّض NVFP4 هذا الرقم إلى 500 يوم-GPU مع الحفاظ على الجودة.

أما بالنسبة إلى الباحثين، فتفتح المنهجية آفاقًا جديدة للتجريب في البنى المعمارية وأحجام البيانات والمعاملات الفائقة (hyperparameters). وسيصبح اختبار الأفكار الجديدة على نماذج أكبر خلال يوم واحد أسهل من اختبارها على نماذج أصغر خلال أسبوع.

غير أن الطريقة ما زالت تحتاج إلى مزيد من التحقق على أنواع أخرى من النماذج، وخصوصًا المحوِّلات (Transformers) الخالصة والنماذج ذات البنى المختلفة. فحتى الآن لم تعرض NVIDIA نتائج إلا على البنية الهجينة Mamba-Transformer. ومن المهم أيضًا إدراك أن التدريب بدقة 4 بت تقنية متخصصة تتطلب تحسينات خاصة في البرمجيات ودعمًا على مستوى العتاد (الدعم الكامل متاح حاليًا على وحدات NVIDIA GPU فقط).