علماء ميشيغان وNVIDIA يدمجون في Megatron-LM طريقة توفّر ما يصل إلى 50% من الطاقة

يمكن توفير نحو نصف الطاقة التي تُستهلك في تدريب الذكاء الاصطناعي دون خسارة في السرعة أو في جودة النموذج. هذا ما توصّل إليه مهندسون في جامعة ميشيغان، إذ أنشأوا لهذا الغرض مجموعة من الأدوات البرمجية المنسّقة فيما بينها. ويعمل الفريق الآن مع NVIDIA على دمج هذا النهج في Megatron-LM، وهي المنصة المفتوحة التي تقدمها الشركة لتدريب النماذج الكبيرة.

أين تضيع الطاقة

يبدو تدريب نموذج كبير كأنه عمل متواصل لآلاف وحدات GPU بأقصى طاقتها. لكن جزءًا من هذا العمل زائد عن الحاجة في الواقع. فالمسرّعات تنتظر بعضها بعضًا، والبيانات تصل متأخرة، وجزء من الحسابات لا يقع على المسار الحرج ويمكن تنفيذه بوتيرة أبطأ دون أي أثر في الزمن الإجمالي. وإذا استهلكت جميع البطاقات الطاقة بحدّها الأقصى في هذه الأثناء، ارتفعت فاتورة الكهرباء دون مقابل.

لم تكشف الرسالة الأصلية عن التفاصيل التقنية، لكن النتيجة المعلنة واضحة: نحو نصف الطاقة المبذولة في التدريب يتبيّن أنه فائض عند التنسيق الصحيح. وكانت المجموعة البحثية نفسها قد نشرت من قبل أعمالًا حول الحد من «تضخم الطاقة» في تدريب النماذج الكبيرة، وكانت الأرقام حينها أقل، إذ بلغت نحو 30%. ويشير الرقم المعلن الآن، وهو يصل إلى 50%، إلى مجموعة أدوات أوسع، لكن المصدر لا يصف العلاقة بين هذين المشروعين صراحةً.

لماذا يهم الدمج في Megatron-LM

نادرًا ما يصل الكود البحثي إلى العناقيد الحاسوبية الفعلية. فلكي يصل إليها، يجب أن يندمج في الحزمة البرمجية التي يستخدمها الناس بالفعل. وMegatron-LM حزمة من هذا النوع: فعلى أساسها وعلى مكوناتها تُبنى مسارات تدريب النماذج التي تضم عشرات المليارات ومئات المليارات من المعاملات. وإذا أصبحت الطريقة جزءًا من المنصة، فلن يلزم نقلها إلى كل فريق على حدة، بل سيكفي تفعيل خيار أو تحديث الإصدار.

ولدى NVIDIA مصلحة مباشرة هنا. فقد أصبحت الطاقة والتبريد منذ فترة طويلة قيدًا على مراكز البيانات الجديدة، وكثيرًا ما تحدد الطاقة المتاحة في الموقع حجم العنقود بدقة أكبر من ميزانية العتاد. أما البرمجية التي تحقق السرعة نفسها في التدريب على القدرة نفسها مع استهلاك أقل بمقدار النصف، فهي توسّع عمليًا إمكانات البنية التحتية المبنية أصلًا.

ما المعروف حتى الآن

• توفير الطاقة المعلن في التدريب: يصل إلى 50%.
• لا تتأثر سرعة التدريب ولا جودته، بحسب المطوّرين.
• الجهة المطوّرة: جامعة ميشيغان، كلية الهندسة.
• الشريك: NVIDIA.
• المنصة المستهدفة: Megatron-LM مفتوحة المصدر.
• الحالة: الدمج قيد التنفيذ، ولا توجد مواعيد محددة في الرسالة.

ومن المهم أيضًا الانتباه إلى ما لم تذكره الرسالة. فهي لا تحدد أحجام النماذج التي قيس عليها التوفير، ولا نوع وحدات GPU وعددها، ولا منهجية القياس: هل حُسبت طاقة المسرّعات وحدها أم طاقة المنظومة كلها. ومن هذه التفاصيل يتوقف مدى قابلية تكرار الرقم على عنقود آخر. وعبارة «يصل إلى 50%» تعني الحد الأعلى، لا النتيجة المعتادة.

ماذا تفعل الفرق التي تدرّب النماذج

إلى أن يكتمل الدمج، من المنطقي تجهيز خط أساس للمقارنة مسبقًا. فإذا كنتم تدرّبون النماذج على Megatron-LM، فابدأوا بقياس استهلاك الطاقة على مستوى GPU مع زمن الخطوة والإنتاجية. ومن دون هذه البيانات لن تتمكنوا من التحقق من التوفير المعلن، ولا من تقدير ما حصلتم عليه فعليًا.

تابعوا إصدارات Megatron-LM ومستودعات المجموعة البحثية، ففيها سيظهر الكود وشروط تطبيق الطريقة. أما من يخططون لمواقع جديدة، فهذه فرصة لإعادة حساب نموذج التكاليف. فإذا تأكد الأثر على أحمال العمل الحقيقية، فقد تكون القدرة اللازمة للتدريب أقل بكثير من المحسوبة، وبالتالي ستتغير معايير التغذية الكهربائية والعقود مع مزوّدي الطاقة.