AWS تدمج Dynamo في HyperPod: نموذج Qwen3-235B يولّد 207 رموز/ثانية لكل GPU بدلاً من 101
لا يتسع النموذج الكبير في خادم واحد، كما أن الطلب الطويل من عميل واحد يبطئ الردود على بقية العملاء. أضافت AWS إلى SageMaker HyperPod دعم NVIDIA Dynamo، الذي يُسند قراءة الطلب وتوليد الرد إلى مجموعتين مختلفتين من وحدات GPU. على نموذج Qwen3-235B مع 16 وحدة GPU من طراز H200، بلغ الأداء 207 رموز في الثانية لكل GPU بدلاً من 101، أي 2.05 ضعف. إذا كنت تشغّل نموذجك اللغوي الكبير (LLM) على AWS، فاختبر الوضع المنفصل على حركة مرور فعلية.
معالج بواسطة الذكاء الاصطناعي من AWS Machine Learning Blog؛ بتحرير Hamidun News
تخيّل روبوت دردشة يعمل بنموذج لغوي كبير. يلصق أحد المستخدمين في طلبه مستنداً من مئة صفحة، وبينما «تقرأ» وحدات GPU هذا المستند، ينتظر بقية العملاء الكلمات التالية من ردودهم. أما المشكلة الثانية فهي أن أوزان النموذج لا تتسع أصلاً في ذاكرة خادم واحد. أضافت Amazon إلى SageMaker HyperPod Inference (منصة تديرها AWS لتشغيل النماذج على عناقيد GPU) دعم NVIDIA Dynamo، وهو إطار مفتوح المصدر للاستدلال الموزّع. يفصل هذا الإطار قراءة الطلب عن توليد الرد، ويوزّعهما على مجموعات GPU مختلفة. في اختبار على Qwen3-235B، حقق ذلك 207 رموز إخراج في الثانية لكل GPU مقابل 101 في الإعداد المعتاد، أي 2.05 ضعف، مع القيود نفسها على زمن الاستجابة.
ولتوضيح الحجم: أوزان GLM-5.3 بصيغة FP8، وهو النموذج الذي تعتمده AWS مثالاً، لا تتسع في 640 ГБ من ذاكرة الجهاز الواحد من طراز ml.p5.48xlarge. ويلزم فوق ذلك حيّز لـ KV-cache (ذاكرة النموذج للنص الذي قرأه بالفعل) وللبيانات الخدمية الخاصة ببيئة التشغيل.
ما الذي يقدّمه Dynamo تحديداً
أولاً: تقسيم العمل إلى مرحلتين. في مرحلة prefill «يقرأ» النموذج الطلب، وفي مرحلة decode يولّد رموز الرد واحداً تلو الآخر. تحمّل المرحلتان العتاد بأسلوبين مختلفين، وعندما تتشاركان وحدات GPU نفسها يبطئ الطلب الطويل التوليد لدى الآخرين. يخصص Dynamo لكل مرحلة مجموعة workers خاصة بها، ويمكن توسيع كل مجموعة بشكل مستقل. وينتقل KV-cache بين المجموعتين عبر شبكة EFA السريعة.
ثانياً: التشغيل متعدد العقد. يمكن أن يشغل worker واحد عدة instances إذا كان النموذج لا يتسع في واحدة. ويعمل ذلك في الوضع المنفصل وفي الوضع المعتاد (aggregated) الذي تُنفَّذ فيه المرحلتان على worker واحد.
ثالثاً: التوجيه الواعي بـ KV-cache. يرى الموجّه (router) أي worker يحتفظ أصلاً بالذاكرة المؤقتة للجزء المشترك من بداية الطلب، ويأخذ حمله في الحسبان. فإذا كانت جميع الطلبات تبدأ بموجّه نظام (system prompt) طويل واحد، فلا حاجة إلى إعادة حسابه. وهكذا ينخفض الزمن حتى أول رمز، ولا تُحمَّل الـ workers المثقلة بما يزيد على طاقتها.
ويضيف HyperPod ما يضطر الفريق عادةً إلى تجميعه يدوياً: مراقبة سلامة العقد ووحدات GPU وEFA، واستبدال العقد المعطلة، والتوزيع المتسق للـ pods. وفي الـ workers متعددة العقد، يشغّل مجدوِل Kubernetes AI (KAI) بتقنية gang scheduling جميع الـ pods المطلوبة في وقت واحد، كي لا يتعطل worker وقد بدأ تشغيله جزئياً فقط.
طريقتان للنشر
إذا كنت تعمل مع Dynamo بالفعل، فيمكنك استخدام DynamoGraphDeployment (DGD) الخاص بك. تبقى الوثائق والوصفات (recipes) كما هي، لكنك تضبط بنفسك التخزين والشبكة وتوزيع الـ pods والتوسع التلقائي. أما إذا كنت تستخدم HyperPod Inference، فيكفي InferenceEndpointConfig (IEC) مع قسم dynamoSpec. يسحب المشغّل (operator) الأوزان بنفسه من S3 أو FSx، ويرفع نقطة وصول (endpoint) مع TLS، ويربط التوسع التلقائي عبر KEDA.
الإعداد قصير. فبالنسبة إلى instances اثنتين (16 GPU) يُحدَّد nodesPerReplica: 2 وtensorParallelism: 16، ويفعّل routingMode: kv-aware التوجيه الذكي. وفي الوضع المنفصل يُستبدل بالكتلة aggregation كتلتا prefill وdecode مع عدد مستقل من النسخ (replicas) لكل منهما. في مثال AWS: نسخة prefill واحدة ونسختا decode، كل منهما على instances اثنتين، أي ستة instances في المجموع. ويصل الطلب إلى الـ endpoint عبر SageMaker Runtime بصيغة متوافقة مع OpenAI.
ما الذي أظهرته القياسات
الاختبار الأول: Qwen3-235B-A22B-FP8 على TensorRT-LLM، مع instances اثنتين من طراز p5en.48xlarge (16 GPU من H200)، وطلبات من 4 000 رمز إدخال و200 رمز إخراج. لم تُحتسب إلا الأوضاع التي كان فيها P90 للزمن حتى أول رمز أقل من ثانية، وكانت سرعة التوليد الوسيطة لا تقل عن 50 رمزاً في الثانية لكل مستخدم. بلغت أفضل نتيجة في الوضع المنفصل 207 رموز في الثانية لكل GPU عند تزامن (concurrency) قدره 80، وأفضل نتيجة في الوضع المعتاد 101 عند تزامن قدره 32.
الاختبار الثاني هدف إلى معرفة ما إذا كان الاتصال بين العقد يُحدث خسارة في الأداء. شُغّل Qwen3.5-397B-A17B-FP8 على vLLM مع TP4 × PP2 على instance واحدة بثماني وحدات GPU، وعلى instances اثنتين بأربع وحدات GPU لكل منهما. وعلى حمل وكيلي (agentic) تتكرر فيه البادئات (prefixes) كثيراً، عند تزامن قدره 32، حقق التكوين ثنائي العقد 126.4 رمز في الثانية لكل GPU، أي 99.1% من نتيجة العقدة الواحدة. وهذا النموذج يتسع في instance واحدة، فلا داعي عملياً إلى تقسيمه. وقد كان الاختبار فحصاً للتحقق: الحدود بين العقد لا تكاد تكلّف شيئاً.
ماذا تفعل بهذه النتائج
حصلت AWS وNVIDIA بنفسيهما على هذه الأرقام، على نموذجين وأنماط حركة مرور محددة، ولذلك لا ينبغي نقل 2.05× إلى نظامك كما هي. والأجدر تجربة الوضع المنفصل عند الطلبات الطويلة والقيود الصارمة على زمن الاستجابة.
توصيات المؤلفين عملية. اختر وصفة Dynamo المناسبة لنموذجك ومحركك ووحدات GPU لديك. وقبل القياس، تحقق من أن KV-cache ينتقل بين الـ workers عبر EFA تحديداً. شغّل AIPerf على حركة مرور فعلية بمستويات تزامن مختلفة، واحتفظ بالنقاط التي تلبي اتفاقيات مستوى الخدمة (SLA) لديك. وابدأ الضبط بالطوبولوجيا وتوزيع الـ workers، ولا تنتقل إلى معلمات المحرك إلا بعد ذلك، مع تغيير متغير واحد في كل مرة.
- 18 نوفمبر 2026نموذج Jev الجديد يستجيب في 150 مللي ثانية مقابل 1,89 ثانية لدى GPT-6 Astra
- 18 نوفمبر 2026AWS تعرض كيفية تمرير وكلاء Bedrock إلى واجهات API الخاصة عبر جدار حماية مركزي
- 18 نوفمبر 2026Airbnb تغيّر نموذج وكلاء البرمجة، وإنفاق كبار المستخدمين ينخفض 7 أضعاف
- 18 نوفمبر 2026Duco تقلّص سياق الوكلاء بنسبة 90% وتسرّع نقل عمليات المطابقة المصرفية 10 أضعاف
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما الذي يقدّمه Dynamo تحديداً؟
أولاً: تقسيم العمل إلى مرحلتين. في مرحلة prefill «يقرأ» النموذج الطلب، وفي مرحلة decode يولّد رموز الرد واحداً تلو الآخر. تحمّل المرحلتان العتاد بأسلوبين مختلفين، وعندما تتشاركان وحدات GPU نفسها يبطئ الطلب الطويل التوليد لدى الآخرين. يخصص Dynamo لكل مرحلة مجموعة workers خاصة بها، ويمكن توسيع كل مجموعة بشكل مستقل. وينتقل KV-cache بين المجموعتين عبر شبكة EFA السريعة. ثانياً: التشغيل متعدد العقد. يمكن أن يشغل worker واحد عدة instances إذا كان النموذج لا يتسع في واحدة.
ما أبرز التفاصيل حول طريقتان للنشر؟
إذا كنت تعمل مع Dynamo بالفعل، فيمكنك استخدام DynamoGraphDeployment (DGD) الخاص بك. تبقى الوثائق والوصفات (recipes) كما هي، لكنك تضبط بنفسك التخزين والشبكة وتوزيع الـ pods والتوسع التلقائي. أما إذا كنت تستخدم HyperPod Inference، فيكفي InferenceEndpointConfig (IEC) مع قسم dynamoSpec. يسحب المشغّل (operator) الأوزان بنفسه من S3 أو FSx، ويرفع نقطة وصول (endpoint) مع TLS، ويربط التوسع التلقائي عبر KEDA. الإعداد قصير.
ما أبرز التفاصيل حول ما الذي أظهرته القياسات؟
الاختبار الأول: Qwen3-235B-A22B-FP8 على TensorRT-LLM، مع instances اثنتين من طراز p5en.48xlarge (16 GPU من H200)، وطلبات من 4 000 رمز إدخال و200 رمز إخراج. لم تُحتسب إلا الأوضاع التي كان فيها P90 للزمن حتى أول رمز أقل من ثانية، وكانت سرعة التوليد الوسيطة لا تقل عن 50 رمزاً في الثانية لكل مستخدم. بلغت أفضل نتيجة في الوضع المنفصل 207 رموز في الثانية لكل GPU عند تزامن (concurrency) قدره 80، وأفضل نتيجة في الوضع المعتاد 101 عند تزامن قدره 32.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.