Avito تحلل ست محاضرات من KubeCon Japan 2026 حول تقاسم GPU

سافر مهندس ML Ops في Avito، أنطون أليكسييف، إلى يوكوهاما لحضور KubeCon + CloudNativeCon Japan 2026، وجمع ست محاضرات عن GPU واستدلال LLM في تحليل واحد. ومع اليوم الثاني من المؤتمر لاحظ أن شرائح المتحدثين المختلفين متشابهة: طيف عزل المستأجرين (tenants)، والحصص، وbin packing، وعبارة «وحدات GPU باهظة الثمن، فلنتقاسمها». تعمل Avito على المشكلة نفسها، ولذلك جاءت المقارنة عملية: ما جرّبته الشركة بالفعل، وما تنوي تجربته فقط.

لا تزال المادة المنشورة على Habr تقتصر حتى الآن على جزء تمهيدي، ولهذا نعرض فيما يلي السياق بدلًا من تلخيص كل محاضرة.

فكرة واحدة في ست محاضرات

إن وصول فرق مختلفة، بصورة مستقلة، إلى المخططات نفسها يدل على نضج الموضوع. قبل سنتين كانت وحدات GPU في Kubernetes تُمنح عادةً كاملة: بطاقة واحدة لكل Pod. أما اليوم فتستحوذ المسرّعات على حصة ملحوظة من ميزانية البنية التحتية، بينما يتفاوت الحمل عليها. فالتدريب والمهام الدفعية يستهلكان البطاقة بكثافة، أما الاستدلال الفوري (online inference) فكثيرًا ما يتركها شبه فارغة. ومن هنا جاءت أربعة محاور متكررة:

• عزل المستأجرين (tenants): إلى أي درجة من الصرامة ينبغي الفصل بين الجيران على البطاقة الواحدة؛
• الحصص: كم مسرّعًا يمكن أن يشغل فريق أو مشروع؛
• bin packing: كيف تُرصّ الـPods على العقد بكثافة، حتى لا تتراكم بطاقات مشغولة جزئيًا؛
• استدلال LLM بوصفه المستهلك الرئيسي، حيث تصطدم الذاكرة المخصصة للأوزان وللـKV-cache بحجم البطاقة.

طيف العزل

يُوصف هذا الطيف بمقياس واحد: كلما اشتدت صرامة الحدود بين المستأجرين، انخفض معدل الاستخدام وارتفعت إمكانية التنبؤ بالأداء. والنقاط المعتادة على هذا المقياس معروفة منذ زمن.

• بطاقة كاملة لكل Pod: أقصى درجات العزل وأدنى كثافة.
• MIG على بطاقات NVIDIA المدعومة: تقسيم عتادي إلى عدة نسخ مستقلة، حتى سبع نسخ على البطاقة الواحدة، مع ذاكرة مخصصة.
• MPS: عدة عمليات تتشارك موارد الحوسبة، لكن العزل أضعف.
• Time-slicing: تحصل الـPods على البطاقة بالتناوب، ولا أحد يضمن عزل الذاكرة أو الأخطاء.

ويعتمد الاختيار على طبيعة الحمل. فالخدمة الفورية الحرجة ذات متطلبات زمن الاستجابة الصارمة يناسبها حد عتادي أكثر. أما التجارب الداخلية فيكفيها عادةً تقسيم مرن.

الحصص والرصّ

يحسم العزل مسألة «من يجاور من». أما الحصص والمجدوِل (scheduler) فيحسمان من سيحصل على البطاقة أصلًا. وعمليًا تلتقي هنا طوابير المهام الدفعية والأولويات والإخلاء القسري (preemption). وتبرز أهمية bin packing لأن الطلبات الجزئية تفتت العنقود بسرعة: الحصص الحرة كثيرة، لكن لا يوجد مكان لـPod يحتاج بطاقة كاملة أو ملف MIG كبيرًا. ويعيد المجدوِل الذي يراعي الطوبولوجيا ويسعى إلى ملء العقد بكثافة هذه الحصص إلى الاستخدام.

وبحسب ما ذكره المؤلف، سيستعرض ما جرّبته Avito بالفعل مما عُرض في المحاضرات، وما هو مدرج في خططها. وهذا أثمن جزء للقارئ، فالمحاضرات في المؤتمرات تعرض عادةً مخططًا يعمل، لكنها نادرًا ما تبيّن أين ينهار حين يُطبَّق على حمل مختلف. وتقرير مهندس يقابل الشرائح بما يجري في بيئة الإنتاج لديه يسدّ هذه الفجوة تحديدًا. وفي ختام النص يعد المؤلف بالحديث عن اليابان نفسها، فيقترب الشكل من يوميات رحلة ذات نواة تقنية.

من أين يبدأ فريق لديه عنقود GPU

إذا كنتم لا تزالون تفكرون في تقاسم البطاقات، فإن ترتيب الخطوات يتضح من المحاضرات نفسها. أولًا، قيسوا معدل الاستخدام الفعلي: تحميل وحدات الحوسبة والذاكرة المشغولة لكل خدمة، وليس مجرد واقع تخصيص البطاقة. ثم صنّفوا الأحمال بحسب متطلبات العزل: الاستدلال الفوري، والمهام الدفعية، والتجارب. واختاروا لكل فئة نقطتها الخاصة على الطيف، دون محاولة فرض نمط موحد. بعد ذلك طبّقوا الحصص على مستوى الفرق وطوابير المهام الدفعية، واتركوا ضبط الرصّ إلى النهاية، حين يتضح هيكل الطلبات. وأخيرًا، قرروا مسبقًا ما ستفعلونه بالجيران المزعجين: فمن دون مقاييس لزمن الاستجابة يتحول تقسيم البطاقة سريعًا إلى مصدر لتدهور في الأداء يصعب تفسيره.

التحليل الكامل للمحاضرات الست وتجربة Avito منشوران على Habr في مقال أنطون أليكسييف.