vLLM يدعم Vera Rubin NVL72: إنتاجية أعلى بـ 7.8 مرة على كل وحدة معالجة رسومية

حصل vLLM على دعم كامل لـ Vera Rubin NVL72، الجيل الجديد من وحدات معالجة الرسومات من NVIDIA المصمم للاستدلال الوكيلي على نطاق واسع. وجاء هذا العمل نتيجة تعاون وثيق بين فريق vLLM وInferact وRed Hat وNVIDIA. والنتائج مذهلة: إنتاجية أعلى بـ 7.8 مرة على كل وحدة معالجة رسومية مقارنة بـ GB200 NVL72 في اختبار AgentX، وأعلى بـ 3.7 مرة في اختبارات VLM من MLPerf Inference v6.1.

المزايا المعمارية لـ Vera Rubin

توفر Vera Rubin NVL72 تحسينات كبيرة. فالمنصة تضم 5 مرات أكثر من عمليات NVFP4 FLOPS للاستدلال منخفض الدقة — وهو عامل حاسم لتسريع استدلال النماذج الكبيرة. وقد تم تحديث الذاكرة إلى HBM4 بإنتاجية أعلى بـ 2.4 مرة من HBM3e في GB200. كما تحسّن الاتصال بين الرقائق عبر NVLink من الجيل السادس، بنطاق ترددي أعلى بـ 1.7 مرة.

ويتمثل التحسين الرئيسي لنماذج المحولات (transformers) في العمليات الأسية ضمن آلية الانتباه. وتحقق Vera Rubin إنتاجية أعلى بمرتين للأُسس من نوع FP32، وأعلى بـ 4 مرات لـ BF16/FP16، مما يسمح لعمليات softmax بمواكبة سرعة عمليات GEMM الأسرع. وهذا أمر حاسم، لأن softmax يُعد نقطة اختناق في عملية فك الترميز (decoding).

الدعم في vLLM والنماذج المتوافقة

يوفر vLLM دعمًا فوريًا (day-0) لـ Vera Rubin بفضل التوافق المعماري مع Blackwell. ويدعم هدف التجميع الجديد sm107 النوى (kernels) المُجمَّعة لـ sm100f دون أي تعديل. ويمكن للمستخدمين استخدام الحاويات الليلية (nightly containers) مع CUDA 13.4 وPyTorch 2.15 (الصورة vllm/vllm-openai:cu134-nightly).

النماذج المدعومة: DeepSeek وMoonshot AI (Kimi) وZ.ai وMiniMax وGLM. وتعمل جميعها مباشرة دون تعديل بفضل توافق النوى مع معمارية Blackwell.

التحسينات الخاصة بـ Vera Rubin

يستخدم vLLM مجالات الموقعية (locality domains) من CUDA 13.4 لتحسين طبقات MoE. ويتم توزيع الأوزان بين مجالات ذاكرة NUMA، مما يسمح لكل وحدة معالجة متدفقة (SM) بقراءة البيانات فقط من أقرب ذاكرة. وفي حالة MiniMax M3، يؤدي ذلك إلى تسريع بمقدار 1.2 مرة على دفعات فك الترميز الصغيرة.

ومن خلال FlashInfer 0.7.0، تم دمج نوى متخصصة: عمليات GEMM من نوع NVFP4 وMXFP4 للعمليات المصفوفية منخفضة الدقة، وNVFP4 MoE لتوجيه الخبراء بكفاءة، واهتمام FP8 وprefill MSA FP8 لتسريع التخزين المؤقت للبادئات (prefix caching).

الأداء في سيناريوهات حقيقية

في اختبار SemiAnalysis AgentX (MiniMax M3): يحقق vLLM إنتاجية أعلى بـ 7.84 مرة على كل وحدة معالجة رسومية مع الحفاظ على التفاعلية، وأعلى بـ 5.18 مرة عند تقييد السرعة بـ 150 TPS.

وفي اختبار MLPerf Inference v6.1: يُظهر نموذج Qwen3-VL-235B (235 مليار معامل) باستخدام vLLM كمحرك خلفي (backend) إنتاجية أعلى بـ 3.7 مرة مقارنة بـ GB300 NVL72 في جميع السيناريوهات الثلاثة — offline وserver وinteractive.

خطط التطوير

يستمر مجتمع vLLM في تحسين المنصة. وتشمل الاتجاهات القادمة: دمج sm107 FlashInfer MegaMoE للنماذج واسعة النطاق، والدعم الكامل لمجالات الموقعية لجميع طبقات MoE، وتداخل النوى (overlapping kernels) عبر PDL وLamport Sync لإخفاء زمن الاستجابة، والنوى الضخمة (mega kernels) للسيناريوهات الوكيلية منخفضة زمن الاستجابة، وتحسين نوى KDA وMLA لنموذج Kimi K3، ودمج نوى CSA وHCA لنموذج DeepSeek-V4.1-Flash، واستكمال نوى فك ترميز Rubin MSA، ودمج نواة CFT counted-write MoE all-to-all.

ويجري هذا العمل بالتعاون مع NVIDIA وInferact وRed Hat، بدعم فعّال من مجتمع vLLM.