NVIDIA توسّع نطاق الحتمية على مستوى البِت في Megatron Core إلى 2432 وحدة GPU بتكلفة إضافية 2% فقط

مشكلة التدريب واسع النطاق وحل NVIDIA

عند تدريب نماذج تضم تريليونات المعاملات على آلاف وحدات المعالجة الرسومية، تنهار أساليب التصحيح التقليدية. فتعدد أبعاد التوازي، والحسابات منخفضة الدقة (MXFP8، NVFP4)، ونقاط التفقّد الموزّعة، كل ذلك يعقّد إعادة إنتاج الأخطاء والتحقق من صحة الإصلاحات. أدخلت NVIDIA في Megatron Core مفهوم الحتمية على مستوى البِت — وهو ضمان بأن تشغيلين ينطلقان من نفس الحالة الابتدائية سيسلكان مساراً عددياً متطابقاً تماماً، شرط بقاء البيانات والبنية والتوازي والبرمجيات دون تغيير.

يوفّر Megatron Core ضمانتين أساسيتين: إمكانية إعادة الإنتاج المستقلة (يبقى التشغيلان، المنطلقان من نفس الحالة، متطابقين بِتّياً عند كل خطوة)، والاستئناف المتطابق بِتّياً من نقطة التفقّد (تكون عملية الاستعادة مطابقة تماماً لتشغيل متواصل دون انقطاع). ويُعدّ هذا الأمر حاسماً في تدريب الإنتاج المكلف — فحتى تباطؤ طفيف عند التعامل مع تريليون معامل يكلّف آلاف أيام تشغيل وحدات المعالجة الرسومية.

أربع فوائد عملية

تحلّ الحتمية على مستوى البِت أربع مشكلات في التصحيح والتحقق:

• إعادة إنتاج الأخطاء — تثبيت طفرة في دالة الخسارة عند خطوة محددة، ثم تعديل مكوّن واحد في كل مرة لعزل السبب • استمرارية نقاط التفقّد — استئناف تدريب متوقَّف دون تغيير المسار العددي • اكتشاف العيوب — استغلال أوجه التباين بين تشغيلات متطابقة في جوانب أخرى للكشف عن تلف في نقاط التفقّد أو مشكلات في البرمجيات والعتاد • مقارنة أثر التغييرات — التمييز بين الأثر العددي لتغيير مقصود والتباين الطبيعي بين التشغيلات

منهجية تصحيح عدم الحتمية

طرحت NVIDIA، عبر طلب الدمج PR #7262 في Megatron-LM، نظاماً للتتبّع التدريجي يسجّل بصمات مرتّبة للموترات عبر الرتب المختلفة. وتضيّق هذه العملية نطاق البحث تدريجياً، بدءاً من المقاييس الشاملة (end-to-end) وصولاً إلى الـ kernel المحدد:

• المقاييس الشاملة — تحديد أول تكرار (iteration) تظهر فيه مقياس متسلسل مختلف (دالة خسارة التدريب، دالة خسارة النموذج اللغوي، معيار التدرّج، دالة خسارة MTP) • التتبّع الدلالي الواسع — تغطية العمليات الجماعية (collectives)، والاتصال بين مراحل خط الأنابيب (pipeline)، وإعادة الحساب (recomputation)، وعمليات المُحسِّن (optimizer)، وعمليات تجميع التدرّجات، لتحديد مرحلة التدريب التي يبدأ فيها التباين • التتبّع على مستوى الوحدات والطبقات — تحديد موقع المشكلة عند مكوّن معيّن في النموذج (طبقة Transformer، كتلة MoE، مرحلة من المُحسِّن) • التتبّع على مستوى العمليات — بصمات لعمليات ATen واستدعاءات الامتدادات (extensions) لتحديد أول عملية تحمل مدخلات متطابقة ومخرجات مختلفة • أدوات على مستوى الـ kernel — تحديد الـ kernel المسؤول وآلية عدم الحتمية

من المهم جداً عدم قصر التتبّع على التكرار الذي يظهر فيه الانفصال في دالة الخسارة بشكل واضح فقط؛ فأول بِت متباين قد يظهر قبل ذلك بكثير. يحدّد التتبّع الواسع أول تكرار ورتبة يظهر فيهما التباين، ثم يُفعَّل التتبّع المفصّل فقط ضمن هذا النطاق الضيّق.

تُحسب البصمات على وحدة المعالجة الرسومية مباشرة باستخدام torch.hash_tensor (مع تسجيل الشكل، ونوع البيانات، وعدد العناصر). أما بالنسبة لتنسيقَي MXFP8 و NVFP4، فيتم أخذ بصمات القيم المرمَّزة وذاكرات تخزين معامل القياس (scale buffers). وبالنسبة للبيانات الحساسة للترتيب (مثل خرائط التوجيه routing maps ومخرجات توزيع MoE)، تُستخدم تقنية أخذ البصمات على مستوى القطع (chunk-wise fingerprinting).

التحسين من أجل نموذج Nemotron ذي التريليون معامل

تُعدّ الوصفة الحتمية، على الرغم من تكلفتها الإضافية المرتفعة، مفيدة لعمليات التصحيح، لكنها مكلفة للغاية للاستخدام في بيئة الإنتاج. أجرت NVIDIA عملية تحسين مشترك للمسارات الحتمية وغير الحتمية على نموذج Nemotron الهجين، الذي يدمج طبقات SSM (نموذج فضاء الحالة) على طراز Mamba مع طبقات انتباه من نوع Transformer، من خلال تحسين ثلاثة أحمال عمل:

• Nemotron 3 Ultra: انخفضت التكلفة الإضافية من نحو 17% إلى 2% بعد تحسين عملية ملء المخازن المؤقتة (buffer-fill)، ثم إلى 1.5% على 3072 وحدة GPU • النسخة التجريبية الهجينة القائمة على Triton: انخفضت من نحو 60% إلى 37% بعد استعادة دمج MoE-MLP (MoE-MLP fusion)، ثم إلى 2% • مسار تدرّج الأوزان المحسَّن في CuTeDSL: تكلفة إضافية بنحو 3.6% على 256 وحدة GPU، ثم نحو 2% على 2432 وحدة GPU

على 2432 وحدة معالجة رسومية، حقّقت وصفة الإنتاج تكلفة إضافية مستقرة للحتمية بنحو 2%، مع الحفاظ على الحتمية على مستوى البِت طوال 800 خطوة من التدريب. وتشمل التحسينات على مستوى الـ kernel تخصيص مساحات مخرجات خاصة لمعالجات الكتابة (writers) في عمليات grouped-GEMM، وتطبيق ترتيب ثابت لعمليات التجميع (reduction) للحفاظ على التوازي مع ضمان استعادة نتائج حتمية. ويتحقق Megatron Core من صحة الوصفات، ويختبر الـ kernels، ويفحص الوحدات عبر جميع تهيئات التوازي، بما في ذلك دعم تنسيقَي الدقة المنخفضة FP8 و FP4.