بنية Decoupled DiLoCo من DeepMind تعالج مشكلة توسيع نطاق الذكاء الاصطناعي

إن تدريب الشبكات العصبية الاصطناعية الحديثة ليس سحرًا رياضيًا بقدر ما هو مشكلة تنسيق هندسي غير مسبوقة في حجمها. ففي مراكز البيانات العملاقة، يجب أن تعمل عشرات الآلاف من وحدات معالجة الرسومات الحديثة في انسجام تام، فتتبادل البيانات باستمرار وتزامن كل تحديث للتدرجات (gradients) عبر الشبكة بأكملها. لكن في هذه السيمفونية السيليكونية ثغرة قاتلة: فإذا تعطلت شريحة واحدة، أو حتى تباطأ أداؤها بسبب ارتفاع الحرارة، فقد تتوقف عملية التدريب بالكامل. ومع سعي الصناعة إلى بناء نماذج بمئات المليارات وتريليونات المعاملات، لم تعد هذه الهشاشة المعمارية مجرد إزعاج تقني، بل أصبحت عائقًا اقتصاديًا يتعذر تجاوزه.

لسنوات طويلة، اعتمدت الصناعة على المزامنة الصارمة. فخوارزميات التدريب الموزّع التقليدية تشترط أن تُنهي جميع عُقد الحوسبة مرحلة عملها، ثم تتبادل النتائج وتحسب متوسطها، ولا تنتقل إلى الخطوة التالية إلا بعد ذلك. ويشبه الأمر رتلًا من السيارات تحدد سرعته أبطأ مركبة فيه. وعلى نطاق الحواسيب الفائقة، يقترب احتمال حدوث عطل في العتاد في أي دقيقة بعينها من اليقين، ما يضطر المهندسين إلى حفظ الحالات الوسيطة للنموذج باستمرار وإعادة تشغيل العناقيد. وهكذا تُهدر حصة كبيرة من أغلى وقت حوسبة في العالم، لا في تدريب الذكاء الاصطناعي، بل في انتظار العناصر المتأخرة والتعافي من الأخطاء.

هذه المشكلة الجوهرية تحديدًا هي ما تعالجه البنية الجديدة التي طوّرها باحثون في Google DeepMind، وتحمل اسم Decoupled DiLoCo. فقد نجح المهندسون في كسر حلقة المزامنة الصارمة المفرغة عبر اقتراح أسلوب أنيق للتدريب غير المتزامن بالكامل. وتقوم فكرة التقنية على فصل عمليات الحوسبة المحلية على الشرائح المنفردة عن التحديث العام لأوزان النموذج بأكمله. فبدلًا من إجبار الشبكة كلها على انتظار المتأخرين، يتيح النظام لعُقد الحوسبة السليمة مواصلة العمل، فتراكم المعرفة وتدمجها في البنية العامة بمجرد جاهزية كل عنقود على حدة.

تبدو النتائج التقنية للنهج الجديد ثورية بالنسبة إلى مهندسي الأنظمة السحابية. فوفقًا للبيانات المنشورة، تتيح Decoupled DiLoCo بلوغ مستوى من الحمل الحسابي المفيد، أي ما يُعرف بمؤشر goodput، عند 88 بالمئة، حتى في ظل معدلات أعطال عتاد مرتفعة بصورة غير معتادة. أما في الأنظمة المتزامنة التقليدية، فإن معدل أعطال مماثلًا كان سيؤدي إلى انهيار كارثي في الكفاءة، إذ يقضي العنقود وقتًا في إعادة التشغيل أكثر مما يقضيه في التدريب نفسه. وتحجب الطبيعة غير المتزامنة للبنية الجديدة كلًّا من تأخيرات الشبكة وانقطاعات العتاد المفاجئة، ما يجعل عملية التدريب شديدة الصمود أمام فوضى العالم الحقيقي.

تتجاوز تداعيات هذا الإنجاز على الصناعة مجرد تحسين الاستقرار. فهو أولًا يغيّر جذريًا اقتصاديات بناء الذكاء الاصطناعي المتقدم. فإذا كانت الخوارزمية قادرة على التدريب بكفاءة على عتاد غير مستقر، فسيتمكن الفاعلون من استخدام ما يُعرف بالنسخ السحابية القابلة للمقاطعة، وهي موارد حوسبة أرخص بكثير يمكن لمزوّدي الخدمات السحابية سحبها في أي لحظة. وإضافة إلى ذلك، فإن تخفيف الحاجة إلى اتصال دائم وفائق السرعة بين الشرائح يفتح الباب أمام تدريب موزّع بحق. فبدلًا من بناء مركز بيانات عملاق واحد ببنية شبكية باهظة التكلفة، سيتمكن المطورون من الجمع بين طاقات خوادم متفرقة تقع في أنحاء مختلفة من العالم.

من الواضح أننا أمام تحول مهم في نموذج توسيع نطاق أنظمة الحوسبة. فمع تزايد صعوبة صنع شرائح فردية أسرع بسبب القوانين الفيزيائية وقيود التصنيع، تبرز هندسة البرمجيات القادرة على توحيد عتاد غير مثالي ضمن عقل يعمل بلا عيوب. وتثبت بنية Google DeepMind أن الطريق إلى الجيل القادم من الذكاء الاصطناعي لا يمر عبر الموثوقية المثالية لكل معالج على حدة، بل عبر بناء شبكات ذكية لامركزية، قادرة على إصلاح نفسها والتكيف مع أي ظروف أثناء العمل.