NVIDIA تشرح تقنية التوازي التنسوري غير المتكافئ لتدريب نماذج LLM على وحدات GPU

نشرت NVIDIA في مدونة المطورين التابعة لها مادة عن تقنية التوازي التنسوري غير المتكافئ (nonuniform tensor parallelism)، وهي مقاربة تهدف إلى رفع goodput، أي حصة العمل الحسابي المفيد، عند تدريب النماذج اللغوية الكبيرة على عناقيد من آلاف وحدات GPU.

ما المقصود بـ goodput في تدريب LLM

يجري تدريب النماذج اللغوية الكبيرة الحديثة بصورة متزايدة على عناقيد من آلاف وحدات معالجة الرسوميات، ويمتد لأسابيع، وأحياناً لأشهر من العمل المتواصل. ومع هذه المدة الطويلة ترتفع كلفة الأعطال بشكل حاد: فتعطل عقدة واحدة، أو تجمّد وحدة GPU «متأخرة» عن البقية، أو الحاجة إلى إعادة التشغيل من نقطة حفظ (checkpoint)، كلها تستهلك جزءاً من إجمالي زمن الحوسبة. وgoodput مقياس لا يعكس مجرد الاستخدام الكلي لوحدات GPU، بل حصة العمل المفيد والمنتج فعلاً بعد احتساب هذه الخسائر. ومن الأسباب النموذجية لتراجعه الاختناقات الشبكية بين العقد، وعدم تكافؤ الحمل على وحدات GPU المنفردة، والوقت الذي يُهدر في حفظ نقاط الحفظ الوسيطة واستعادتها بعد وقوع عطل.

• نُشرت المادة في NVIDIA Developer Blog وتتناول تحديداً رفع goodput في تدريب LLM
• يتعلق الأمر ببنية تحتية مصممة لمهام تشمل آلاف وحدات GPU في وقت واحد
• قد تستمر عمليات التدريب هذه مدة طويلة دون توقف
• تُسمى الطريقة المقترحة nonuniform tensor parallelism، أي «التوازي التنسوري غير المتكافئ»

كيف يعمل التوازي التنسوري غير المتكافئ

التوازي التنسوري أحد الأساليب الأساسية للتدريب الموزع: تُقسَّم عمليات المصفوفات المنفردة داخل طبقات النموذج إلى أجزاء وتُحسب في آن واحد على وحدات GPU مختلفة، ما يتيح تدريب نماذج لا تتسع فعلياً في ذاكرة بطاقة رسوميات واحدة. أما النهج الكلاسيكي فيطبّق درجة التقسيم نفسها على جميع طبقات النموذج دون تمييز. وتختار النسخة غير المتكافئة التي تتحدث عنها NVIDIA درجة التوازي بصورة مستقلة لكل جزء من النموذج، مع مراعاة حمله الحسابي وحجم البيانات الواجب تبادلها بين وحدات GPU. والهدف هو تقليص فترات الخمول وتكاليف الاتصال بين الأجهزة، ورفع goodput النهائي دون شراء معدات إضافية. وتُنفَّذ هذه التقنيات عادةً بالتكامل مع مكتبات التدريب الموزع مثل Megatron-LM ومنصة NeMo، اللتين تطورهما NVIDIA خصيصاً لتدريب النماذج الكبيرة على وحدات GPU الخاصة بها.

ولا يُعد التوازي التنسوري الأسلوب الوحيد لتوزيع التدريب بين وحدات GPU: فإلى جانبه يُستخدم التوازي الأنبوبي (pipeline parallelism)، حيث تُسند طبقات مختلفة من النموذج إلى وحدات GPU مختلفة وتُعالَج على نحو متسلسل كخط إنتاج، وكذلك توازي البيانات، حيث تحتفظ كل وحدة GPU بنسخة كاملة من النموذج وتُوزَّع أمثلة التدريب نفسها بين الأجهزة. وعملياً تجمع عناقيد التدريب الكبيرة بين الأساليب الثلاثة في آن واحد، ويحدد مدى نجاح اختيار هذا المزيج لبنية نموذج بعينها مستوى goodput النهائي بصورة مباشرة.

لماذا يهم ذلك البنية التحتية للذكاء الاصطناعي

حتى المكسب الضئيل في الكفاءة يتحول إلى وفر ملموس حين يُحسب بآلاف وحدات GPU وأسابيع من التدريب المتواصل. فتدريب نموذج حديث ضخم حقاً يتطلب قدرات حوسبة تبلغ كلفتها عشرات ومئات الملايين من الدولارات، ولذلك فإن زيادة goodput بنسبة 1% فقط تعني وفراً مهماً في الوقت والكهرباء والمال. وتنشر NVIDIA، بوصفها أكبر مورّد لمسرّعات الذكاء الاصطناعي، مثل هذه التحليلات الهندسية بانتظام، كي يتمكن عملاؤها، أي الشركات التي تدرّب نماذج LLM خاصة بها على بنية NVIDIA التحتية، من استخلاص كفاءة أكبر من العناقيد القائمة دون توسيع أسطول المعدات.

ماذا يعني ذلك

مع اتساع نطاق تدريب النماذج اللغوية الكبيرة، لم يعد عدد الرقائق وقدرتها وحدهما العامل الحاسم، بل أيضاً هندسة البرمجيات على مستوى النظام، أي مدى كفاءة البنية التحتية الموزعة في استغلال وحدات GPU التي جرى شراؤها بالفعل.