ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةAPI / منتج · جاهز للعملAWS Machine Learning Blog→ المصدر

AWS تطلق NVIDIA Dynamo مُدارًا للنماذج التي لا تتسع في خادم واحد

إذا كانت أوزان النموذج لا تتسع في ذاكرة أي خادم GPU، فعلى الفريق بناء عنقود الاستدلال يدويًا. AWS تولّت هذه المهمة: يعمل NVIDIA Dynamo الآن في SageMaker HyperPod كمحرك مُدار. تُوزَّع نسخة واحدة من النموذج على عدة عقد، ويجري تحليل المُوجِّه (prompt) وتوليد الرموز (tokens) على مجموعات GPU منفصلة، وتُستبدل العقدة المعطّلة تلقائيًا. وبالنسبة إلى الفرق التي تشغّل نماذج reasoning كبيرة، يزيل هذا أكثر أجزاء التشغيل إرهاقًا.

معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
AWS تطلق NVIDIA Dynamo مُدارًا للنماذج التي لا تتسع في خادم واحد
المصدر: AWS Machine Learning Blog. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAWS Machine Learning Blog ↗
رئيس التحرير
المحركاتvLLM وSGLang وTensorRT-LLM؛ وتبقى واجهة API متوافقة مع OpenAI
حقيقة رئيسية #2تُنقل ملفات DynamoGraphDeployment الجاهزة (manifests) بتعديلات شبه معدومة
حقيقة رئيسية #3يُوجَّه الطلب إلى worker يحتفظ مسبقًا بـ KV-cache المطلوب، مما يقلّص الزمن حتى أول رمز

تصطدم نماذج reasoning الكبيرة بحاجز فيزيائي بسيط: الأوزان لا تتسع في ذاكرة GPU على أي خادم منفرد. يضاف إلى ذلك المُوجِّهات الطويلة (prompts) المحمّلة بسياق الاسترجاع (retrieval)، وهي تُبطئ التوليد لبقية المستخدمين، فتكتمل المعاناة المألوفة لفرق الإنتاج. في نوفمبر 2026 أعلنت AWS إطلاق NVIDIA Dynamo المُدار على SageMaker HyperPod Inference. يندرج الإطلاق ضمن استعراض أوسع لإصدارات SageMaker Inference في عام 2026، لكنه يعالج تحديدًا أصعب مهمة هندسية: تشغيل نماذج أكبر من جهاز واحد.

ما هو Dynamo وما الذي كان يعيق استخدامه

NVIDIA Dynamo إطار عمل مفتوح المصدر للاستدلال. يؤدي ثلاث وظائف: توزيع نسخة واحدة من النموذج على عدة عقد (sharding)، وفصل معالجة المُوجِّه (prefill) عن توليد الرموز (decode)، وتوجيه الطلب إلى المكان الذي يوجد فيه KV-cache المطلوب.

كان تشغيل Dynamo على Kubernetes خاص بالفريق ممكنًا من قبل، لكن كل ما حوله كان عليهم بناؤه بأنفسهم. كان لا بد من وضع جميع عقد النسخة الواحدة قرب بعضها. وكان لا بد من إعداد شبكة Elastic Fabric Adapter (EFA) كي ينقل prefill الـ KV-cache إلى decode بسرعة العتاد. وكان لا بد من صيانة صور الخوادم، ومعالجة الحالة التي تُسقط فيها عقدة واحدة معطّلة النسخة متعددة العقد بأكملها.

كيف يُقسَّم العمل الآن

يتخذ Dynamo قرارات التشغيل: كيف يُوزَّع النموذج على العقد، وكيف يُفصل prefill عن decode، وإلى أين يُرسل كل طلب. أما HyperPod فيوفّر كل ما تعتمد عليه هذه القرارات:

  • تُنشر قدرات GPU وشبكة EFA وتُربط تلقائيًا؛
  • تُراقب حالة العقد، وتُستبدل المعطّلة منها، وتُعاد جدولة workers متعددة العقد تلقائيًا؛
  • يأتي التوسّع التلقائي وتسجيل نقاط النهاية (endpoints) وTLS وقابلية المراقبة جاهزة دون إعداد إضافي؛
  • تُثبّت إضافة Inference Operator وتُحدّث Dynamo وصور الخوادم ومُجدوِلَي Grove وKAI كحزمة واحدة.

عمليًا يبدو الأمر هكذا. يشغّل الفريق الذي لديه نموذج reasoning بمئات المليارات من المعاملات نسخة واحدة على عدة عقد. يعمل prefill وdecode على مجموعتَي GPU منفصلتين، ويمكن اختيار نوع الـ instance المناسب لكل منهما. ولم يعد المُوجِّه الطويل يُبطئ الردود على بقية المستخدمين. وإذا تعطّلت عقدة، يستبدلها HyperPod ويعيد تشغيل النسخة، ولا حاجة إلى إيقاظ المهندس المناوب.

يرسل التوجيه الواعي بـ KV (KV-aware) الطلب إلى worker يحتفظ أصلًا بالـ cache المطلوب. هذا يقلّص الزمن حتى أول رمز، خاصةً في المحادثات وفي RAG ذات البادئات المتكررة.

كيف تبدأ وماذا عن التوافق

تصف AWS ثلاثة مسارات:

  • إذا كنت تشغّل Dynamo بالفعل على Kubernetes الخاص بك، فيمكنك نقل ملفات DynamoGraphDeployment (DGD) الحالية بلا تغييرات تقريبًا.
  • إذا كنت تستخدم HyperPod Inference بالفعل، يكفي تحديث الإضافة (add-on) وإضافة كتلة dynamoSpec قصيرة إلى InferenceEndpointConfig الحالي. يحوّلها HyperPod إلى DGD، وتواصل نقاط النهاية العاملة عملها.
  • إذا كنت جديدًا على كليهما، يمكنك إنشاء عنقود مع تفعيل الإضافة وDynamo مباشرةً من وحدة التحكم (console).

يتعامل العملاء مع نقطة نهاية قياسية متوافقة مع OpenAI، فلا حاجة إلى تغيير كود العميل. تُدعم المحركات vLLM وSGLang وTensorRT-LLM، وتتطابق مناطق التوفر مع المناطق التي يتوفر فيها HyperPod.

القيود والخلاصة

لا يتضمن الإعلان أي أرقام أداء: لم تذكر AWS لا مكسبًا في السرعة ولا وفرًا في التكلفة. وسيتعيّن قياس أثر المجموعات المنفصلة والتوجيه بحسب KV على حركة البيانات الخاصة بك. كما أن هذا المسار مخصص لـ HyperPod بعناقيده ونهجه القائم على Kubernetes. وما زالت AWS توصي بتشغيل النماذج البسيطة على نقاط نهاية SageMaker المُدارة.

الخلاصة العملية بسيطة. إذا كنت تنوي نشر Dynamo أو vLLM متعدد العقد بنفسك، فاحسب أولًا كم من الوقت الهندسي سيستغرقه وضع العقد والشبكة والتعافي من الأعطال. هذا الجزء تحديدًا تبيعه AWS الآن كخدمة. اختبر في مشروع تجريبي الزمن حتى أول رمز والتكلفة عند النسبة الفعلية لديك بين الطلبات الطويلة والقصيرة. وبالنسبة إلى الفرق التي تخطط للانتقال إلى نموذج reasoning كبير، هذه أسرع طريقة لتجنّب التحوّل إلى مشغّل لعنقود GPU.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما هو Dynamo وما الذي كان يعيق استخدامه؟

NVIDIA Dynamo إطار عمل مفتوح المصدر للاستدلال. يؤدي ثلاث وظائف: توزيع نسخة واحدة من النموذج على عدة عقد (sharding)، وفصل معالجة المُوجِّه (prefill) عن توليد الرموز (decode)، وتوجيه الطلب إلى المكان الذي يوجد فيه KV-cache المطلوب. كان تشغيل Dynamo على Kubernetes خاص بالفريق ممكنًا من قبل، لكن كل ما حوله كان عليهم بناؤه بأنفسهم. كان لا بد من وضع جميع عقد النسخة الواحدة قرب بعضها. وكان لا بد من إعداد شبكة Elastic Fabric Adapter (EFA) كي ينقل prefill الـ KV-cache إلى decode بسرعة العتاد.

ما أبرز التفاصيل حول كيف يُقسَّم العمل الآن؟

يتخذ Dynamo قرارات التشغيل: كيف يُوزَّع النموذج على العقد، وكيف يُفصل prefill عن decode، وإلى أين يُرسل كل طلب. أما HyperPod فيوفّر كل ما تعتمد عليه هذه القرارات: تُنشر قدرات GPU وشبكة EFA وتُربط تلقائيًا؛ تُراقب حالة العقد، وتُستبدل المعطّلة منها، وتُعاد جدولة workers متعددة العقد تلقائيًا؛ يأتي التوسّع التلقائي وتسجيل نقاط النهاية (endpoints) وTLS وقابلية المراقبة جاهزة دون إعداد إضافي؛ تُثبّت إضافة Inference Operator وتُحدّث Dynamo وصور الخوادم ومُجدوِلَي Grove وKAI كحزمة واحدة. عمليًا يبدو الأمر هكذا.

ما أبرز التفاصيل حول كيف تبدأ وماذا عن التوافق؟

تصف AWS ثلاثة مسارات: إذا كنت تشغّل Dynamo بالفعل على Kubernetes الخاص بك، فيمكنك نقل ملفات DynamoGraphDeployment (DGD) الحالية بلا تغييرات تقريبًا. إذا كنت تستخدم HyperPod Inference بالفعل، يكفي تحديث الإضافة (add-on) وإضافة كتلة dynamoSpec قصيرة إلى InferenceEndpointConfig الحالي. يحوّلها HyperPod إلى DGD، وتواصل نقاط النهاية العاملة عملها. إذا كنت جديدًا على كليهما، يمكنك إنشاء عنقود مع تفعيل الإضافة وDynamo مباشرةً من وحدة التحكم (console).

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…