NVIDIA Dynamo Snapshot: تسريع تشغيل النماذج على Kubernetes

في بيئات الإنتاج (production)، يتغيّر الطلب على نماذج الذكاء الاصطناعي باستمرار، ويتعيّن على الشركات توسيع عدد النسخ التي تخدمها بسرعة. لكن تشغيل نسخة جديدة (replica) من النموذج على Kubernetes قد يستغرق عدة دقائق، وطوال هذه المدة تنتظر وحدات GPU باهظة الثمن دون أن تخدم أي طلبات.

مشكلة التشغيل البارد

التشغيل البارد (cold start) هو اللحظة التي يجب فيها على نسخة جديدة من نموذج الاستدلال أن تُحمَّل وتصبح جاهزة للعمل. وفي الأنظمة القابلة للتوسع، قد تكون هذه العملية بطيئة. فعند وصول ذروة في حركة الطلبات، يرصد مُوسِّع التوسع التلقائي (autoscaler) في Kubernetes ارتفاع الحمل وينشئ نسخًا جديدة من النموذج. لكن كل نسخة تحتاج إلى:

• تحميل صورة الحاوية من القرص
• فك ضغط جميع طبقات صورة Docker
• تهيئة بيئة التشغيل (runtime) والإطار البرمجي
• تحميل أوزان الشبكة العصبية في ذاكرة GPU
• تجميع النموذج وتحسينه للعتاد المستهدف

قد يستغرق ذلك كله من 30 ثانية إلى عدة دقائق. وخلال هذا الوقت تكون وحدة GPU مخصَّصة لكنها معطّلة ولا تخدم أي طلبات. والنتيجة: ارتفاع زمن الاستجابة، وانخفاض معدل المعالجة، ومخاطرة الشركات بالإخلال باتفاقيات مستوى الخدمة (SLA). وبالنسبة إلى العملاء من الشركات الذين يستخدمون الخدمات السحابية، قد تكلّف كل دقيقة تعطّل آلاف الدولارات.

Dynamo Snapshot: تشغيل سريع بدلًا من التهيئة

قدّمت NVIDIA أداة Dynamo Snapshot التي تتيح الانتقال من دقائق التحميل إلى ثوانٍ. فبدلًا من تهيئة النموذج من الصفر في كل مرة، ينشئ Dynamo لقطة (snapshot) لحالة الحاوية الجاهزة بالفعل، بما في ذلك أوزان النموذج المحمَّلة، وبيئة التشغيل المهيَّأة، والتحسينات المخزَّنة مؤقتًا.

عند الحاجة إلى نسخة جديدة، لا يبدأ النظام بتنزيل الصورة وفك ضغط الطبقات، بل يستعيد الحالة المحفوظة مباشرة في ذاكرة GPU. ويعمل ذلك أسرع بكثير، لأن جميع العمليات المكلفة (تحميل النماذج، والتجميع، والتحسين) أُنجزت مرة واحدة ويُعاد تشغيلها ببساطة.

أبرز إمكانات Dynamo:

• تحميل النماذج في بضع ثوانٍ بدلًا من دقائق
• تقليل تعطّل GPU أثناء التوسع إلى أدنى حد
• زمن استجابة متوقَّع ومستقر في ذروات الطلب
• توفير في غرامات الإخلال باتفاقيات SLA
• استخدام فعّال للعتاد الباهظ الثمن

تعمل الأداة على مستوى Kubernetes وتتكامل مع أنظمة التوسع القائمة، دون الحاجة إلى إعادة تصميم التطبيقات.

الأثر الاقتصادي

بالنسبة إلى الشركات التي تشغّل نماذج الاستدلال في السحابة، يعني ذلك انخفاضًا كبيرًا في تكلفة التوسع. فإذا كانت ذروة حركة الطلبات بنسبة 50% تتطلب سابقًا الإبقاء على وحدات GPU احتياطية لغرض التوسع السريع فقط (تحسّبًا للطلب)، فيمكن الآن التوسع شبه الفوري عند الطلب، دون تشغيل عتاد معطّل.

ويفيد ذلك خصوصًا التطبيقات ذات حركة الطلبات غير المتوقعة، حيث يتعذّر التنبؤ بالذروات. فارتفاعات الطلب الموسمية، واللحظات الرائجة في مواقع التواصل، والاستعلامات التي تحظى بشعبية مفاجئة، يمكن الآن خدمتها كلها بمرونة وبتكلفة معقولة. وتنخفض نفقات الإبقاء على طاقة احتياطية، بينما يكاد يختفي تأخّر التوسع.

ما معنى ذلك

يُظهر Dynamo Snapshot كيف يمكن لتحسينات البنية التحتية أن تخفّض مباشرة تكلفة خدمات الذكاء الاصطناعي. ومع تنافس الشركات على تكلفة الاستدلال، تصبح سرعة التوسع وكفاءته ميزة تنافسية حقيقية. وبالنسبة إلى المطوّرين، يعني ذلك أن النماذج الكبيرة التي كانت تتطلب سابقًا مجمّعًا «دافئًا» من وحدات GPU يمكن الآن تشغيلها وتوسيعها عند الطلب.