جامعة تفنتي تخفض استهلاك الطاقة في تدريب نماذج LLM بنسبة 14%

طوّر باحثون من جامعة Twente في هولندا طريقة تتيح توفير ما يصل إلى 14% من الطاقة عند تدريب النماذج اللغوية الكبيرة دون خسارة في سرعة التدريب. وتقوم التقنية على الإدارة الديناميكية لتردد ساعة GPU، وهي تُطبَّق لأول مرة بهذا المستوى الدقيق من التفصيل.

كيف تعمل تقنية DVFS

تقنية DVFS (dynamic voltage-frequency scaling) أسلوب معروف يغيّر تردد الساعة في وحدة GPU بحسب الحمل الحسابي الحالي. فكل عملية داخل الشريحة تنطلق بنبضة من الساعة، ويحدد تردد هذه النبضات سرعة عمل GPU واستهلاكه للطاقة معًا.

وتملك وحدات GPU الحديثة نظامَي ساعة مستقلين: أحدهما لنواة الحوسبة والآخر لوحدة الذاكرة. فعندما تنفّذ النواة حسابات مكثفة، تعمل ساعتها بتردد مرتفع ويمكن إبطاء ساعة الذاكرة. أما عندما تنتظر النواة بيانات من الذاكرة، فيحدث العكس: يمكن إبطاء النواة وتسريع الذاكرة. ويقلّل هذا التوازن إجمالي استهلاك الطاقة دون خسارة في الأداء.

لماذا لم تنجح الطرق السابقة

تعود DVFS إلى تسعينيات القرن الماضي، لكن تطبيقها على تدريب LLM تبيّن أنه أصعب مما كان يُعتقد. فالمحاولات السابقة إما أبطأت الحسابات أكثر من اللازم، وإما افتقرت إلى المرونة الكافية. والمشكلة الأساسية أن معظم الطرق كانت تضبط التردد على مستوى دورات التدريب الكاملة فقط (forward pass وbackpropagation)، وهو مستوى فجّ جدًا لتحسين فعّال.

ابتكار على مستوى النوى

قرّر فريق Jeffrey Spaan تغيير التردد على مستوى أدق بكثير، هو مستوى kernels المنفردة (وحدات الحوسبة الأولية). فحسابات GPU تُقسَّم إلى عمليات صغيرة جدًا؛ فعلى سبيل المثال، يشكّل ضرب متجهين واحدًا kernel واحدًا. وعند تدريب طبقة واحدة من الشبكة العصبية يجري تشغيل نحو 40 kernel من هذا النوع. وبضبط التردد لكل kernel على حدة، تمكّن الفريق من تحقيق توفير في الطاقة أكبر بكثير:

• ضبط التردد على مستوى وحدات الحوسبة المنفردة بدلًا من الدورات الكاملة
• التنبؤ بالـ kernel التالي يتيح تحديد التردد المناسب مسبقًا
• متوسط التوفير في الطاقة 14% مقابل إبطاء لا يتجاوز 0,6%
• DVFS التلقائي في GPU يعمل بكفاءة أقل لأنه لا يستطيع توقّع الخطوات التالية

النتائج والقيود

أُجريت التجربة على نموذج GPT-3-XL (1.3 مليار معامل) باستخدام وحدة Nvidia RTX 3080 Ti. والنتيجة: توفير 14% من الطاقة مقابل إبطاء لا يتجاوز 0,6%.

«نحن نحسّن توفير الطاقة دون خسارة في الأداء. في العالم الحقيقي، الأداء هو الكأس المقدسة»، —

Jeffrey Spaan.

ثمة قيد واحد: التبديل بين الترددات يستغرق وقتًا، وإن كان أقل من الإيقاف الكامل للنواة ثم إعادة تشغيلها. ولم يؤخذ ذلك في حسابات الباحثين، ولذلك فإن 14% تمثل أفضل سيناريو. أما وحدات GPU الأحدث، مثل Nvidia Blackwell، فتتميز بتبديل أسرع بكثير، وستتمكن من الاستفادة من هذا التوفير بصورة أكمل.

ماذا يعني ذلك

إذا اعتُمدت طريقة Spaan في الصناعة، فيمكن توفير مليارات واط-ساعة من الطاقة عند تدريب النماذج الرائدة (frontier). وسيخفّض ذلك البصمة الكربونية لصناعة AI وتكاليفها التشغيلية، دون الحاجة إلى استثمارات في معدات جديدة.