ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةتحليل · على الرادارAWS Machine Learning Blog→ المصدر

Podان يتشاركان وحدة GPU واحدة من طراز A10G في Amazon EKS: NVIDIA Run:ai منح كل منهما 8 GiB

عادةً يمنح Kubernetes بطاقة الرسوميات كاملة لـ Pod واحد، فيما ينتظر زميل آخر دوره بينما يشغل دفتر ملاحظات 6 GiB فقط من أصل 23. أظهرت AWS كيف يقسّم NVIDIA Run:ai على Amazon EKS بطاقة A10G واحدة بين Podين، بحد 8 GiB لكل منهما. استهلك كل Pod نحو 6 GiB، بينما رُفض طلب 9 GiB. وهذا يقلّص الطوابير في دفاتر الملاحظات وأعمال الاستدلال الصغيرة، لكن لم يُقَس أي تحسّن في السرعة.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
Podان يتشاركان وحدة GPU واحدة من طراز A10G في Amazon EKS: NVIDIA Run:ai منح كل منهما 8 GiB
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
حقيقة رئيسية #1من دون التقسيم، لا يبدأ تشغيل Pod ثانٍ يطلب nvidia.com/gpu: 1 على العقدة نفسها
حقيقة رئيسية #2أظهر المقياس 6.24 GiB لكل Pod، أي أكثر بمقدار 250 MiB مما خصصه الاختبار
حقيقة رئيسية #3يتطلب المشغّل برنامج تشغيل R615+، لذلك بنت AWS صورة AL2023 خاصة بها

تخيّل عنقودًا يضم بطاقة رسوميات واحدة. يبقي محلل دفتر ملاحظات مفتوحًا لا يحتاج إلا إلى 6 GiB من الذاكرة، فيما تبلغ ذاكرة البطاقة 23 GiB. ويريد زميل له إجراء تقييم سريع لنموذج، لكن Kubernetes منح وحدة GPU كاملة للـ Pod الأول، فيضطر الثاني إلى الانتظار رغم أن الذاكرة الحرة تكفي وزيادة.

نشرت AWS تحليلًا لكيفية معالجة ذلك باستخدام NVIDIA Run:ai GPU Fractioning على Amazon EKS (خدمة Kubernetes المُدارة في سحابة AWS). في المثال الذي جرى اختباره، تُقسَّم بطاقة NVIDIA A10G واحدة في نسخة g5.xlarge بين Podين: يحصل كل منهما على «عقد» بذاكرة قدرها 8 GiB (GiB هو غيبيبايت)، بينما يستهلك كل منهما فعليًا 6 GiB.

وبالنسبة إلى الفرق التي تقف فيها وحدات GPU المكلفة عاطلة بسبب دفاتر الملاحظات والخدمات الصغيرة، فهذه طريقة لتقليص الطوابير دون شراء بطاقات جديدة.

ما المشكلة وماذا يقترح Run:ai

بشكل افتراضي، يعرض مكوّن الأجهزة الإضافي (device plugin) من NVIDIA بطاقة الرسوميات إلى Kubernetes بوصفها مورِدًا واحدًا هو nvidia.com/gpu. ولا يمكن تشغيل Podين، يطلب كل منهما nvidia.com/gpu: 1، في وقت واحد على عقدة واحدة، حتى لو كان مجموع ذاكرتيهما يتسع في البطاقة. وهذا ما حدث فعلًا في بيئة الاختبار لدى المؤلفين دون التقسيم: ظل الـ Pod الثاني في الانتظار.

هناك طرق أخرى لتقسيم GPU. تقسّم MIG البطاقة إلى أقسام عتادية، لكنها تعمل فقط على البطاقات المدعومة. أما Time-slicing في device plugin فيكتفي بالتناوب بين العمليات، ولا يوفر عزلًا للذاكرة ولا عزلًا للأعطال. وتتيح MPS لعدة عمليات CUDA العمل في وقت واحد، بينما تعتمد الحماية من الأعطال على الإعدادات. ويبني Run:ai فوق MPS طبقة خاصة بـ Kubernetes تضم: مُجدوِلًا، وعقدًا للذاكرة لكل Pod، وفرضًا صارمًا للحد، ومقاييس لكل Pod. فتحت NVIDIA شفرة Run:ai المصدرية في 13 أكتوبر 2026؛ ويستخدم المثال وحدتين من أصل أربع: KAI Scheduler وGPU Fractioning Operator.

يُستحسن اعتماد هذا النهج عندما تكون هناك حاجة إلى حدود صارمة للذاكرة على GPU دون MIG، ويكون الفريق مستعدًا للعمل مع مجموعة عقد ثابتة الحجم. والمهام النموذجية هي: دفاتر الملاحظات التفاعلية ذات فترات التوقف الطويلة، وتقييمات النماذج القصيرة، وفحوص التوافق، وخدمات الاستدلال الصغيرة.

ماذا حدث عمليًا

أُنشئت بيئة الاختبار في المنطقة us-east-2 على Kubernetes 1.36: تستضيف عقدة النظام m7i.large وحدات التحكم الخاصة بالمشغّل وKAI Scheduler، أما عقدة GPU الوحيدة فهي g5.xlarge مع A10G بذاكرة 23 028 MiB. وأُعطي كل من الـ Podين تعليقات توضيحية (annotations) بطلب وحد قدرهما 8 GiB، وحُدد المُجدوِل kai-scheduler. ولا يطلب أي منهما وحدة GPU كاملة.

بدأ الـ Podان العمل على بطاقة واحدة، ويرى كل منهما 8 192 MiB بالضبط. وخصص اختبار CUDA في كل منهما 6 144 MiB دون مشاكل. وأظهر مقياس الذاكرة نحو 6.24 GiB لكل Pod، أي أكثر بمقدار 250 MiB مما خصصه الاختبار. يعزو المؤلفون ذلك إلى سياق CUDA والنفقات الإضافية، لكنهم لم يقيسوا هذا التوزيع على حدة.

واجتاز الاختبار السلبي بنجاح أيضًا: طلب Pod بحد 8 GiB تخصيص 9 GiB، فأعادت cudaMalloc خطأ نفاد الذاكرة. وكانت حالة الـ Pod عندئذ Completed وليست OOMKilled، لأن الاختبار نفسه عالج الخطأ. وهذا يثبت رفض تخصيص الذاكرة، لكنه لا يثبت عزل الأعطال.

المطبّات

أكثر ما يسبب الإزعاج هو إصدار برنامج التشغيل. يتطلب GPU Fractioning Operator 0.1.7 برنامج تشغيل من الفرع R615 أو أحدث، بينما لم يضم الإصدار AL2023 المحسّن لـ EKS وقت الاختبار سوى R580 وR595. لذلك بنى المؤلفون صورة خاصة بهم عبر Packer مع برنامج التشغيل 615.71.10 وNVIDIA Container Toolkit 1.20.1 وcontainerd 2.3.5 مع NRI. وللإنتاج ينصحون بتثبيت إصدارات الحزم والصورة الأساسية. وحين تحصل صورة EKS الجاهزة على برنامج التشغيل المطلوب، يمكن الانتقال إليها، لكن سيتعين تعديل نصوص المثال البرمجية.

من الأفضل قراءة القيود قبل التشغيل:

  • اختُبرت فقط توليفة G5/A10G، وتتطلب بطاقات GPU الأخرى فحص توافق خاصًا بها؛
  • حد الذاكرة لا يحجز حصة متناسبة من القدرة الحسابية؛
  • لا يقيس الاختبار الأداء ولا عزل الأعطال، وهو ليس ضمانًا للأمان؛
  • زيادة عدد الـ Pods على البطاقة لا تعني زيادة في الإنتاجية أو خفضًا في التكاليف؛
  • تُنشئ بيئة الاختبار موارد مدفوعة: control plane في EKS وNAT gateway ونسخًا ولقطة AMI، لذا ينبغي إجراء التنظيف بعد الاختبار.

ماذا ينبغي أن يفعل الفريق

إذا كانت وحدات GPU عاطلة بسبب دفاتر الملاحظات والخدمات الصغيرة، فيمكن تكرار بيئة الاختبار من مستودع aws-samples على عنقود يُستخدم لمرة واحدة. اختر حد الـ Pod استنادًا إلى ذروة الاستهلاك المقيسة مضافًا إليها هامش للنفقات الإضافية، ثم افحص زمن الاستجابة تحت حمل متزامن. وفي حالة التدريب الكبير والخدمات الحساسة لزمن الاستجابة، فمن المرجح ألا يناسب التقسيم. أما في ما عدا ذلك، فهو وسيلة منخفضة التكلفة لإزالة طابور الانتظار على بطاقة الرسوميات.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما المشكلة وماذا يقترح Run:ai؟

بشكل افتراضي، يعرض مكوّن الأجهزة الإضافي (device plugin) من NVIDIA بطاقة الرسوميات إلى Kubernetes بوصفها مورِدًا واحدًا هو nvidia.com/gpu. ولا يمكن تشغيل Podين، يطلب كل منهما nvidia.com/gpu: 1، في وقت واحد على عقدة واحدة، حتى لو كان مجموع ذاكرتيهما يتسع في البطاقة. وهذا ما حدث فعلًا في بيئة الاختبار لدى المؤلفين دون التقسيم: ظل الـ Pod الثاني في الانتظار. هناك طرق أخرى لتقسيم GPU. تقسّم MIG البطاقة إلى أقسام عتادية، لكنها تعمل فقط على البطاقات المدعومة.

ما أبرز التفاصيل حول ماذا حدث عمليًا؟

أُنشئت بيئة الاختبار في المنطقة us-east-2 على Kubernetes 1.36: تستضيف عقدة النظام m7i.large وحدات التحكم الخاصة بالمشغّل وKAI Scheduler، أما عقدة GPU الوحيدة فهي g5.xlarge مع A10G بذاكرة 23 028 MiB. وأُعطي كل من الـ Podين تعليقات توضيحية (annotations) بطلب وحد قدرهما 8 GiB، وحُدد المُجدوِل kai-scheduler. ولا يطلب أي منهما وحدة GPU كاملة. بدأ الـ Podان العمل على بطاقة واحدة، ويرى كل منهما 8 192 MiB بالضبط. وخصص اختبار CUDA في كل منهما 6 144 MiB دون مشاكل.

ما أبرز التفاصيل حول المطبّات؟

أكثر ما يسبب الإزعاج هو إصدار برنامج التشغيل. يتطلب GPU Fractioning Operator 0.1.7 برنامج تشغيل من الفرع R615 أو أحدث، بينما لم يضم الإصدار AL2023 المحسّن لـ EKS وقت الاختبار سوى R580 وR595. لذلك بنى المؤلفون صورة خاصة بهم عبر Packer مع برنامج التشغيل 615.71.10 وNVIDIA Container Toolkit 1.20.1 وcontainerd 2.3.5 مع NRI. وللإنتاج ينصحون بتثبيت إصدارات الحزم والصورة الأساسية. وحين تحصل صورة EKS الجاهزة على برنامج التشغيل المطلوب، يمكن الانتقال إليها، لكن سيتعين تعديل نصوص المثال البرمجية.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…