Amazon SageMaker + NVIDIA Blackwell: كيفية تكوين تدريب النماذج على P6-B200

Amazon SageMaker + NVIDIA Blackwell: كيفية تكوين تدريب النماذج على P6-B200

نشرت خدمات الويب الأمازونية دليلاً تقنياً مفصلاً لتحسين تدريب نماذج اللغة الكبيرة على منصة SageMaker AI باستخدام معمارية وحدات معالجة الرسومات NVIDIA Blackwell على نوى الخوادم الجديدة P6-B200.

لماذا تتطلب معمارية Blackwell نهجاً جديداً

تمثل معمارية NVIDIA Blackwell قفزة كبيرة إلى الأمام في قدرات وحدات معالجة الرسومات لتدريب الشبكات العصبية. توفر معالجات سلسلة B200 ذاكرة HBM3e أكبر بشكل كبير مقارنة بالجيل السابق Hopper، مما يفتح إمكانيات جديدة للعمل مع أحجام دفعات كبيرة وتسلسلات طويلة — تصل إلى 128K رمز دون تفريغ على وحدة المعالجة المركزية. ومع ذلك، فإن قدرات الأجهزة الموسعة هذه تتطلب إعادة التفكير في تكوين مهمة التدريب. قد يؤدي الاختيار غير الصحيح للمعاملات — صيغة الدقة أو حجم الدفعة أو استراتيجية الحفظ — إلى تقليل كبير في كفاءة استخدام معدات مكلفة وإلغاء مزايا الجيل الجديد على سلفه. قامت خدمات الويب الأمازونية بتنظيم الخبرة المتراكمة في إطار عملي موجه نحو سيناريوهات محددة.

معاملات الضبط الرئيسية

يغطي الدليل خمس فئات رئيسية من القرارات عند تشغيل مهمة تدريب على SageMaker AI:

• حجم الدفعة وطول التسلسل — كيفية الاستفادة من الذاكرة الموسعة في Blackwell بزيادة حجم الدفعة الفعلي دون أخطاء OOM عند العمل مع سياقات طويلة
• صيغة الدقة — الاختيار بين FP8 و BF16 و FP32 اعتماداً على حجم النموذج (1B–64B معاملات) ومتطلبات استقرار التدريب
• حفظ التفعيل — متى يتم التطبيق بقوة ومتى يتم الاقتصار على الوضع الانتقائي لتحقيق التوازن بين الذاكرة والسرعة
• التدريب الموزع — تكوين التدريب متعدد العقد عبر SageMaker Distributed Training مع تقسيم مثالي على نوى الخوادم P6-B200
• مراقبة وحدة معالجة الرسومات — المقاييس الأساسية لتقييم الاستخدام والإنتاجية أثناء التدريب

يستحق الدعم الأصلي لـ FP8 في معمارية Blackwell اهتماماً خاصاً. بالنسبة للنماذج التي تبلغ 7B معاملات وما فوق، يمكن للانتقال إلى FP8 أن يوفر مكاسب كبيرة في الإنتاجية مع انخفاض طفيف في الجودة. بالنسبة للنماذج الأصغر، على العكس من ذلك، فإن تكلفة ضبط الصيغة غالباً ما تتجاوز الفائدة — هنا يبقى BF16 الخيار المفضل.

الاستراتيجية حسب حجم النموذج

تنظم خدمات الويب الأمازونية التوصيات حول أبعاد النموذج — وهي نقطة انطلاق منطقية للمهندسين الذين يختارون تكوين التدريب على P6-B200. تغطي النطاقات ثلاثة سيناريوهات مختلفة بشكل أساسي.

بالنسبة للنماذج التي تصل إلى 7B معاملات، يضمن BF16 تدريباً مستقراً مع جهد ضبط أدنى. يمكن زيادة حجم الدفعة بقوة، معتمداً على الذاكرة الموسعة للـ B200، وتطبيق حفظ التفعيل فقط على طبقات المحولات الأكثر استهلاكاً للموارد.

في نطاق 7B–30B معاملات، يبدأ FP8 في توفير مزايا سرعة ملحوظة أثناء التدريب. هنا من المهم زيادة حجم الدفعة تدريجياً مع التحكم في بصمة الذاكرة وتطبيق حفظ التدرج بشكل منتظم.

بالنسبة للنماذج من 30B إلى 64B معاملات، يصبح التدريب الموزع إلزامياً، والاختيار الصحيح لاستراتيجية التقسيم هو العامل الأساسي للأداء والتكلفة الإجمالية للتدريب.

« تتيح الذاكرة الموسعة في B200 العمل مع طول تسلسل يصل إلى 128K رمز دون

تفريغ على وحدة المعالجة المركزية — وهذا يغير بشكل أساسي النهج المتبع في تدريب النماذج ذات السياق الطويل، » — من الدليل التقني لخدمات الويب الأمازونية.

بالنسبة لأكبر التكوينات، يُنصح بالبدء من قوالب جاهزة، ثم تكرار المعاملات على دورات تدريب قصيرة — قبل تشغيل دورة كاملة قد تستغرق عدة أيام.

ماذا يعني هذا

يقلل دليل خدمات الويب الأمازونية من العتبة التشغيلية لفرق التعلم الآلي التي تنتقل إلى نوى الخوادم P6-B200: بدلاً من البحث عن معاملات مثالية من خلال التجربة والخطأ، يتلقى المهندسون إطاراً واضحاً مع توصيات محددة لكل نطاق حجم نموذج. بالنسبة للشركات التي تعتبر SageMaker منصة لتدريب نماذج اللغة الكبيرة الخاصة بها، يختصر هذا المسار من الإطلاق الأولي إلى التكوين الإنتاجي.