كفاءة تدريب الذكاء الاصطناعي: لماذا السرعة ليست كل شيء

عندما يدور الحديث عن تدريب النماذج اللغوية الكبيرة، يعود النقاش دائمًا إلى أمرين: كم عدد وحدات GPU المستخدمة، وبأي سرعة يعالج النظام البيانات. أصبح عدد الرموز في الثانية أشبه بعملة الصناعة: كلما زاد كان أفضل. لكن ماذا لو كان هذا المقياس، على وضوحه، يروي نصف القصة فقط؟ هذا هو السؤال الذي يطرحه مفهوم goodput الذي يكتسب زخمًا متزايدًا، والذي يَعِد بتغيير نهج تقييم كفاءة تدريب الذكاء الاصطناعي من أساسه.

يُعدّ التدريب المسبق لنموذج حديث بحجم مئة مليار معامل وأكثر ماراثونًا هندسيًا يمتد أسابيع وأشهرًا. تعمل آلاف المسرّعات بالتوازي وتعالج كميات هائلة من البيانات النصية. وكان نجاح هذه العملية يُقاس تقليديًا بمؤشرين. الأول هو throughput، أي الإنتاجية: كم رمزًا يستطيع النظام معالجته في وحدة الزمن. والثاني هو التقدم في التدريب: إلى أي مدى يتحسن النموذج فعليًا مع كل تكرار. المشكلة أن هذين المؤشرين لا يرتبطان دائمًا ببعضهما كما يتمنى المهندسون.

يبدو throughput مقياسًا بسيطًا بصورة مضلِّلة. فهو يُظهر مدى سرعة مرور البيانات عبر خط الحوسبة، لكنه لا يقول شيئًا عن جودة هذا العمل. تخيّلوا خط إنتاج في مصنع يصنع القطع بسرعة قياسية، لكن نصفها يذهب إلى التالف. الإنتاجية عالية من الناحية الشكلية، أما المخرجات الفعلية فشيء مختلف تمامًا. وفي سياق تدريب الذكاء الاصطناعي، ينطبق هذا التشبيه بدقة لافتة. فقد يعرض النظام أرقام throughput مبهرة، بينما يُهدر جزء كبير من الحوسبة: في إعادة معالجة البيانات بعد الأعطال، وفي فترات التوقف الناتجة عن المزامنة بين العقد، وفي التوزيع غير الأمثل للحِمل بين المسرّعات. وطوال هذا الوقت يواصل عدّاد الرموز الدوران، فيخلق وهمًا بالتقدم.

هنا يأتي دور goodput، وهو مؤشر يحاول قياس العمل المفيد لا الإنتاجية الخام. فهو يحتسب فقط الحسابات التي تقرّب النموذج فعلًا من اكتمال التدريب. فإذا كان عنقود مؤلف من أربعة آلاف وحدة GPU يعالج تريليون رمز في اليوم، لكن عشرين بالمئة من هذا العمل يضيع بسبب أعطال العتاد وإعادة التشغيل من نقاط الحفظ (checkpoints) وتكاليف الاتصال بين العقد، فإن goodput الفعلي لا يتجاوز ثمانمئة مليار رمز. يبدو الفرق أكاديميًا إلى أن تحوّله إلى دولارات: ففي ظل كلفة استئجار عنقود GPU كبير تبلغ ملايين الدولارات يوميًا، تعني خسارة عشرين بالمئة مئات الملايين خلال دورة تدريب واحدة.

يعكس الانتقال من throughput إلى goodput بوصفه المقياس الرئيسي تحولًا أعمق في الصناعة. فالعصر الذي كان فيه التقدم في الذكاء الاصطناعي يتحدد بالحجم وحده، أي بيانات أكثر ومعاملات أكثر وحوسبة أكثر، يفسح المجال تدريجيًا لعصر التحسين. وتدرك الشركات أن توسيع العناقيد بلا حدود غير ممكن اقتصاديًا ولا من حيث الطاقة. ووفق تقديرات متعددة، يكلّف تدريب نموذج frontier واحد اليوم مئات الملايين من الدولارات، وقد يتجاوز الجيل التالي حاجز المليار. وفي هذه الظروف، يكتسب كل واحد بالمئة من الكفاءة الفعلية أهمية هائلة. ويصبح تحسين goodput أداة مباشرة لخفض التكاليف، لا تمرينًا نظريًا.

تمتد النتائج العملية لهذا النهج على السلسلة كلها، من تصميم مراكز البيانات إلى بنية أطر البرمجيات المستخدمة في التدريب. على مستوى العتاد، يعني ذلك اهتمامًا أكبر بتحمّل الأعطال: فإذا تعطل أحد آلاف المسرّعات، ينبغي للنظام إعادة توزيع الحِمل دون خسارة التقدم المحرز، لا العودة إلى آخر نقطة حفظ وخسارة ساعات من العمل. وعلى مستوى البرمجيات، يعني ذلك استراتيجيات أذكى لحفظ نقاط التدريب، وأساليب غير متزامنة لتحديث التدرجات (gradients)، وخوارزميات متقدمة لتجزئة البيانات (sharding) تقلّل تكاليف الاتصال بين العقد. وتستثمر Google وMeta* وغيرهما من اللاعبين الكبار بنشاط في بنى تحتية يُعدّ فيها goodput مقياسًا من الدرجة الأولى عند تصميم أنظمة التدريب.

وثمة جانب آخر كثيرًا ما يُغفل. فمفهوم goodput يدفع إلى التفكير لا في سرعة معالجة البيانات فحسب، بل في نوع البيانات المعالَجة أيضًا. فليست كل الرموز مفيدة للتدريب بالقدر نفسه. وأساليب مثل curriculum learning والاختيار الذكي للبيانات (intelligent data selection)، التي يتلقى فيها النموذج الأمثلة الأكثر إفادة في اللحظة المناسبة من التدريب، ترفع goodput مباشرة بمعناه الموسّع، أي بوصفه مقياسًا للتقدم الفعلي للنموذج لكل وحدة حوسبة مُنفَقة.

يمثّل مفهوم goodput في جوهره اعترافًا بنضج الصناعة. فحين تكون التقنية فتية، يسعى الجميع وراء أعلى الأرقام على الورق. وحين تنضج، يتحول التركيز إلى العائد الفعلي. وبالنسبة إلى الشركات التي تدرّب الجيل القادم من النماذج اللغوية، فإن الفرق بين throughput وgoodput هو الفرق بين حرق مئات الملايين من الدولارات والاستثمار الرشيد في التقدم. أما من سيتعلم أولًا تعظيم العمل المفيد لعناقيده، فسينال ميزة تنافسية حاسمة في سباق الجيل التالي من الذكاء الاصطناعي.

*Meta مصنّفة منظمة متطرفة ومحظورة في روسيا الاتحادية.