ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
بنية تحتيةتحليل · على الرادارX: @lmsysorg→ المصدر

محرك SGLang مع نوى Humming يُسرّع الرمز الأول بنسبة 7–23% والاستدلال بنسبة 17–34%

تُخزَّن أوزان نماذج MoE مثل DeepSeek بدقة 4 بتات كي تتسع في ذاكرة الفيديو، لكن لا بد من فك ضغطها قبل عملية الضرب. تتولى نوى Humming في SGLang هذه المهمة داخل مسجلات وحدة GPU مباشرةً. على 8 بطاقات H20-3e يصل الرمز الأول أسرع بنسبة 7–23% مقارنةً بـ Marlin، بينما يضيف استخدام FP8 بدلًا من BF16 زيادة قدرها 17–34% في سرعة الاستدلال. وقبل اختيار الواجهة الخلفية، قارنوا بين الاثنتين على حمل العمل الخاص بكم.

معالج بواسطة الذكاء الاصطناعي من X: @lmsysorg؛ بتحرير Hamidun News
محرك SGLang مع نوى Humming يُسرّع الرمز الأول بنسبة 7–23% والاستدلال بنسبة 17–34%
المصدر: X: @lmsysorg. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليX: @lmsysorg ↗
رئيس التحرير
حقيقة رئيسية #1تُترجم Humming النوى أثناء التشغيل لبطاقات NVIDIA من جيل Turing حتى Blackwell
الاختبارDeepSeek-V4.1-Flash-1017، أوزان MXFP4، تفعيلات BF16، مدخلات بطول 4K–1016K
حقيقة رئيسية #3منحت تفعيلات FP8 زيادة بنسبة 17–34% في الرموز في الثانية عند 1 و32 و64 طلبًا

النماذج الكبيرة ذات بنية MoE (Mixture of Experts، «مزيج الخبراء») مثل DeepSeek مكلفة في التشغيل: فهي تستهلك قدرًا كبيرًا من ذاكرة الفيديو، بينما لا يعمل لكل طلب سوى جزء من «الخبراء». ولكي تتسع في الذاكرة، تُخزَّن الأوزان بدقة 4 بتات. غير أنه لا بد قبل الضرب من تحويل هذه الأوزان إلى الصيغة التي تفهمها بطاقة الرسوميات، وإذا أنجزت النوى هذه العملية بكفاءة منخفضة، ضاع المكسب كله.

وقد عرض فريق LMSYS، الذي يطوّر محرك SGLang لتشغيل نماذج LLM، حلَّه: مكتبة Humming. ووفق قياساته، تقلّص المكتبة على المدخلات الطويلة زمن الوصول إلى الرمز الأول (أي التأخير قبل بدء الإجابة، وهي مرحلة «الملء المسبق» prefill) بنسبة 7–23% مقارنةً بـ Marlin، وهي واجهة خلفية شائعة للأوزان منخفضة الدقة. وإذا اختير تنسيق FP8 بدلًا من BF16 لحسابات الخبراء، ترتفع سرعة المخرجات بنسبة 17–34%.

ما هي Humming وكيف تعمل

Humming مجموعة من النوى منخفضة الدقة (برامج صغيرة لوحدات GPU) تُترجم «أثناء التشغيل» (JIT) بحسب المهمة المحددة. وهي تعمل مع الطبقات الكثيفة وطبقات MoE على بطاقات NVIDIA من جيل Turing حتى Blackwell. أي أنها ليست تحسينًا لبطاقة واحدة حديثة، بل أداة لأساطيل متنوعة من العتاد.

وأكثر المسارات إثارة للاهتمام هو المسار الموصوف لمعمارية Hopper. تبقى أوزان الخبراء مضغوطة بدقة 4 بتات. وفي اللحظة الأخيرة فقط، وداخل المسجلات (أسرع ذاكرة في الشريحة)، تُستعاد منها المعاملات بصيغة FP8 قبيل الضرب في Tensor Core مباشرةً. والتشبيه هنا: بدلًا من تفريغ شاحنة كاملة من البضائع في المستودع، يفتح ساعي التوصيل الصندوق عند باب العميل. فلا تُستهلك ذاكرة للأوزان «المفكوكة»، ولا تُنقل البيانات ذهابًا وإيابًا بلا داعٍ.

أما الطبقات الكثيفة فتبقى على مسار FP8 الأصلي: ولا تتدخل Humming فيها.

ما الأرقام التي تحققت

أُجريت القياسات على DeepSeek-V4.1-Flash-1017 على ثماني وحدات GPU من طراز H20-3e بإعداد TP8/EP1. ويتضمن الإعلان مقارنتين.

الأولى: Humming مقابل Marlin. استُخدمت في الواجهتين أوزان MXFP4 وتفعيلات BF16 للخبراء. وقد سرّعت Humming مرحلة الملء المسبق بمعامل 1,07–1,23، أي بنسبة 7–23%، على مدخلات يتراوح طولها بين 4K و1016K. والمقياس هو زمن الوصول إلى الرمز الأول. وبالنسبة للخدمات التي يرسل فيها المستخدم مستندات كبيرة أو مستودعات برمجية، فإن هذا المقياس بالذات هو ما يحدد الإحساس بالسرعة.

الثانية: مقارنة داخل Humming نفسها. على نقطة الحفظ (checkpoint) ذاتها، رفع تحويل تفعيلات الخبراء من BF16 إلى FP8 الإنتاجية الخارجة بنسبة 17–34% عند 1 و32 و64 طلبًا متزامنًا. وتظهر الزيادة مع الطلبات المفردة ومع الأحمال العالية على حد سواء، فهي ليست أثرًا يقتصر على الدفعات الكبيرة.

ماذا يعني ذلك عمليًا

إذا كنتم تشغّلون نماذج MoE على وحدات GPU خاصة بكم:

  • ليس من الضروري أن تكون Marlin الخيار الافتراضي. فعلى المدخلات الطويلة ربحت Humming ما بين 7% و23% في زمن الوصول إلى الرمز الأول.
  • صيغة التفعيلات مهمة أيضًا. فالانتقال من BF16 إلى FP8 للخبراء يزيد سرعة الاستدلال، وبالتالي يخفض كلفة الرمز على الأجهزة نفسها.
  • دعم البطاقات من Turing حتى Blackwell يسهّل الأمر على من لديهم أسطول مختلط: إذ يمكن تجربة النوى نفسها على عتاد متباين.

القيود

هذه نتائج المؤلفين أنفسهم من إعلان قصير. أُجري الاختبار على نموذج واحد وإعداد واحد: ثماني بطاقات H20-3e مع TP8/EP1. وعلى بطاقات أخرى، أو مع توازٍ مختلف، أو على نقاط حفظ أخرى، قد تختلف الأرقام. ولا يتضمن الإعلان بيانات عن تأثير تفعيلات FP8 في جودة الإجابات، لذا ينبغي قبل الإنتاج تشغيل مجموعات التقييم الخاصة بكم. ومقارنة Marlin مقدَّمة لمرحلة الملء المسبق فقط، وليس لمرحلة فك الترميز (decoding).

ونشر فريقا Venus وSCT التفاصيل في المنشور الكامل. والخطة المنطقية للمهندسين: أخذ حمل عمل نموذجي، وتشغيله على SGLang مع Marlin ومع Humming، ومقارنة الزمن حتى الرمز الأول والرموز في الثانية، ثم التحقق بصورة منفصلة من الجودة عند استخدام تفعيلات FP8.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول ما هي Humming وكيف تعمل؟

Humming مجموعة من النوى منخفضة الدقة (برامج صغيرة لوحدات GPU) تُترجم «أثناء التشغيل» (JIT) بحسب المهمة المحددة. وهي تعمل مع الطبقات الكثيفة وطبقات MoE على بطاقات NVIDIA من جيل Turing حتى Blackwell. أي أنها ليست تحسينًا لبطاقة واحدة حديثة، بل أداة لأساطيل متنوعة من العتاد. وأكثر المسارات إثارة للاهتمام هو المسار الموصوف لمعمارية Hopper. تبقى أوزان الخبراء مضغوطة بدقة 4 بتات. وفي اللحظة الأخيرة فقط، وداخل المسجلات (أسرع ذاكرة في الشريحة)، تُستعاد منها المعاملات بصيغة FP8 قبيل الضرب في Tensor Core مباشرةً.

ما أبرز التفاصيل حول ما الأرقام التي تحققت؟

أُجريت القياسات على DeepSeek-V4.1-Flash-1017 على ثماني وحدات GPU من طراز H20-3e بإعداد TP8/EP1. ويتضمن الإعلان مقارنتين. الأولى: Humming مقابل Marlin. استُخدمت في الواجهتين أوزان MXFP4 وتفعيلات BF16 للخبراء. وقد سرّعت Humming مرحلة الملء المسبق بمعامل 1,07–1,23، أي بنسبة 7–23%، على مدخلات يتراوح طولها بين 4K و1016K. والمقياس هو زمن الوصول إلى الرمز الأول. وبالنسبة للخدمات التي يرسل فيها المستخدم مستندات كبيرة أو مستودعات برمجية، فإن هذا المقياس بالذات هو ما يحدد الإحساس بالسرعة. الثانية: مقارنة داخل Humming نفسها.

ما أبرز التفاصيل حول ماذا يعني ذلك عمليًا؟

إذا كنتم تشغّلون نماذج MoE على وحدات GPU خاصة بكم: ليس من الضروري أن تكون Marlin الخيار الافتراضي. فعلى المدخلات الطويلة ربحت Humming ما بين 7% و23% في زمن الوصول إلى الرمز الأول. صيغة التفعيلات مهمة أيضًا. فالانتقال من BF16 إلى FP8 للخبراء يزيد سرعة الاستدلال، وبالتالي يخفض كلفة الرمز على الأجهزة نفسها. دعم البطاقات من Turing حتى Blackwell يسهّل الأمر على من لديهم أسطول مختلط: إذ يمكن تجربة النوى نفسها على عتاد متباين.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…