جامعة كاليفورنيا في بيركلي تطلق mKernel: مكتبة موحّدة لمزامنة وحدات GPU في العناقيد الحاسوبية

أطلق فريق UCCL في UC Berkeley مكتبة mKernel، وهي مكتبة CUDA تُحدث ثورة في مزامنة وحدات GPU داخل العناقيد الكبيرة. تجمع المكتبة الاتصال المحلي بين وحدات GPU، والمزامنة بين الخوادم، والحسابات في persistent kernel واحدة، وبذلك تتفادى التبديلات المتكررة للسياق.

عنق الزجاجة في العناقيد واسعة النطاق

في مراكز البيانات الضخمة، تُعدّ المزامنة بين وحدات GPU من أبرز اختناقات عرض النطاق. فعندما يعمل المهندسون على التدريب الموزّع للنماذج الكبيرة، يواجهون مشكلة كانت تُعالَج تقليدياً بطريقة غير كفؤة إطلاقاً.

كان النهج السابق قائماً على الطبقات: يستخدم المهندسون ثلاث أدوات ومكتبات منفصلة. الأولى للاتصال السريع داخل الخادم الواحد (NVLink، الذي يعمل عبر كوابل عالية السرعة بين وحدات GPU). والثانية للمزامنة بين الخوادم المختلفة عبر الشبكة (RDMA، الذي يعتمد على بطاقات شبكة متخصصة). والثالثة للحسابات نفسها.

وكل انتقال بين هذه الأنظمة الثلاثة يُجمّد خط المعالجة (pipeline) الخاص بوحدة GPU بالكامل: إذ يتعيّن عليها أن تتوقف، وتبدّل السياق، وتُفرغ جزءاً من الذاكرة، وتحمّل بيانات جديدة، ثم تواصل العمل. وفي العناقيد التي تضم آلاف وحدات GPU، تتراكم هذه التأخيرات الدقيقة (بالميكروثانية) لتتحول إلى دقائق من الأداء الضائع.

كيف تعالج mKernel المشكلة

تغيّر mKernel الفلسفة جذرياً. فبدلاً من ثلاثة أنظمة منفصلة، تعمل جميع العمليات، من اتصال محلي ومزامنة عبر الشبكة وحسابات، داخل persistent kernel واحدة. وهي برنامج يبقى في ذاكرة GPU باستمرار ولا يُفرَّغ إلى CPU أبداً.

تجمع البنية ثلاثة مكوّنات:

• NVLink للاتصال بين وحدات GPU على الخادم الواحد — يوفّر سرعة تفوق PCIe بما يتراوح بين 10 و20 ضعفاً، بفضل القنوات المباشرة عالية السرعة بين وحدات GPU
• RDMA عبر بطاقات الشبكة للمزامنة بين الخوادم — يتفادى إرهاق CPU وتأخيرات نظام التشغيل عند نقل البيانات بين الأجهزة
• حسابات كثيفة مدمجة مباشرة داخل الـ kernel — تعمل GPU على البيانات المحلية دون تبديلات، وتتزامن مع الوحدات المجاورة، ثم تنتقل فوراً إلى المهمة التالية

وهذا يعني أن GPU تستطيع الانتقال بسلاسة من الاتصال المحلي عبر NVLink إلى المزامنة العامة عبر RDMA ثم إلى حساباتها الخاصة، وكل ذلك في قطعة شيفرة واحدة ودون توقف.

مثال عملي: كيف يعمل ذلك في الواقع

في التدريب الموزّع، لا تستطيع وحدة GPU الواحدة المضي قدماً قبل أن تنهي وحدات GPU الأخرى على خوادم أخرى حساباتها وتزامن التدرّجات (gradients). وفي النهج القديم تنتظر GPU ببساطة وخط المعالجة لديها فارغ تماماً. أما مع mKernel فتختلف العملية: تواصل GPU حساباتها المحلية على البيانات المحمّلة أصلاً، وتتزامن في الوقت نفسه مع الوحدات المجاورة عبر NVLink وRDMA، وتنتقل فوراً إلى الموجة التالية من التدريب دون أي انقطاع.

يشبه ذلك خط التجميع في مصنع السيارات، الذي لا يتوقف أثناء انتقال القطعة إلى المحطة التالية.

لماذا يُعدّ ذلك حاسماً لمراكز البيانات

يُعدّ التدريب الموزّع للنماذج الكبيرة من أعقد المهام الحسابية في تطوير الذكاء الاصطناعي الحديث. وعندما تستخدم 1000 وحدة GPU في آن واحد (وتعمل الشركات الكبرى بأعداد أكبر من ذلك)، فإن أي تباطؤ بسيط في المزامنة قد يهدر 20-30% من إجمالي الموارد. وتَعِد mKernel بالتخلص كلياً من هذا العبء الإضافي.

وفي الاختبارات الأولى، يرصد الباحثون نتائج بالفعل: ففي العناقيد متعددة العقد تُظهر المكتبة تسارعاً في المزامنة بمقدار 2-3 أضعاف في العمليات المعتادة. ويكتسب ذلك أهمية خاصة لآلية الانتباه (attention) في المحوّلات (transformers)، حيث تُعدّ مزامنة التدرّجات بين وحدات GPU الجزء الأعلى كلفة في العمل كله.

ماذا يعني ذلك

تُمثّل mKernel إشارة إلى أن برمجة GPU تدخل عصر الأنظمة المتكاملة. فقبل ذلك كان المهندسون يكتبون الشيفرة في طبقات: الحسابات أولاً، ثم المزامنة، ثم النقل. أما الآن فتتلاشى الحدود بينها. وهذا يعني تسريع الحسابات في مراكز البيانات، وتدريباً أسرع وأيسر منالاً للنماذج الكبيرة، والأهم أن الجيل القادم من الأنظمة الموزّعة سيُصمَّم بطريقة جديدة كلياً.