محرك SGLang مع نوى Humming يُسرّع الرمز الأول بنسبة 7–23% والاستدلال بنسبة 17–34%
تُخزَّن أوزان نماذج MoE مثل DeepSeek بدقة 4 بتات كي تتسع في ذاكرة الفيديو، لكن لا بد من فك ضغطها قبل عملية الضرب. تتولى نوى Humming في SGLang هذه المهمة داخل مسجلات وحدة GPU مباشرةً. على 8 بطاقات H20-3e يصل الرمز الأول أسرع بنسبة 7–23% مقارنةً بـ Marlin، بينما يضيف استخدام FP8 بدلًا من BF16 زيادة قدرها 17–34% في سرعة الاستدلال. وقبل اختيار الواجهة الخلفية، قارنوا بين الاثنتين على حمل العمل الخاص بكم.
معالج بواسطة الذكاء الاصطناعي من X: @lmsysorg؛ بتحرير Hamidun News
النماذج الكبيرة ذات بنية MoE (Mixture of Experts، «مزيج الخبراء») مثل DeepSeek مكلفة في التشغيل: فهي تستهلك قدرًا كبيرًا من ذاكرة الفيديو، بينما لا يعمل لكل طلب سوى جزء من «الخبراء». ولكي تتسع في الذاكرة، تُخزَّن الأوزان بدقة 4 بتات. غير أنه لا بد قبل الضرب من تحويل هذه الأوزان إلى الصيغة التي تفهمها بطاقة الرسوميات، وإذا أنجزت النوى هذه العملية بكفاءة منخفضة، ضاع المكسب كله.
وقد عرض فريق LMSYS، الذي يطوّر محرك SGLang لتشغيل نماذج LLM، حلَّه: مكتبة Humming. ووفق قياساته، تقلّص المكتبة على المدخلات الطويلة زمن الوصول إلى الرمز الأول (أي التأخير قبل بدء الإجابة، وهي مرحلة «الملء المسبق» prefill) بنسبة 7–23% مقارنةً بـ Marlin، وهي واجهة خلفية شائعة للأوزان منخفضة الدقة. وإذا اختير تنسيق FP8 بدلًا من BF16 لحسابات الخبراء، ترتفع سرعة المخرجات بنسبة 17–34%.
ما هي Humming وكيف تعمل
Humming مجموعة من النوى منخفضة الدقة (برامج صغيرة لوحدات GPU) تُترجم «أثناء التشغيل» (JIT) بحسب المهمة المحددة. وهي تعمل مع الطبقات الكثيفة وطبقات MoE على بطاقات NVIDIA من جيل Turing حتى Blackwell. أي أنها ليست تحسينًا لبطاقة واحدة حديثة، بل أداة لأساطيل متنوعة من العتاد.
وأكثر المسارات إثارة للاهتمام هو المسار الموصوف لمعمارية Hopper. تبقى أوزان الخبراء مضغوطة بدقة 4 بتات. وفي اللحظة الأخيرة فقط، وداخل المسجلات (أسرع ذاكرة في الشريحة)، تُستعاد منها المعاملات بصيغة FP8 قبيل الضرب في Tensor Core مباشرةً. والتشبيه هنا: بدلًا من تفريغ شاحنة كاملة من البضائع في المستودع، يفتح ساعي التوصيل الصندوق عند باب العميل. فلا تُستهلك ذاكرة للأوزان «المفكوكة»، ولا تُنقل البيانات ذهابًا وإيابًا بلا داعٍ.
أما الطبقات الكثيفة فتبقى على مسار FP8 الأصلي: ولا تتدخل Humming فيها.
ما الأرقام التي تحققت
أُجريت القياسات على DeepSeek-V4.1-Flash-1017 على ثماني وحدات GPU من طراز H20-3e بإعداد TP8/EP1. ويتضمن الإعلان مقارنتين.
الأولى: Humming مقابل Marlin. استُخدمت في الواجهتين أوزان MXFP4 وتفعيلات BF16 للخبراء. وقد سرّعت Humming مرحلة الملء المسبق بمعامل 1,07–1,23، أي بنسبة 7–23%، على مدخلات يتراوح طولها بين 4K و1016K. والمقياس هو زمن الوصول إلى الرمز الأول. وبالنسبة للخدمات التي يرسل فيها المستخدم مستندات كبيرة أو مستودعات برمجية، فإن هذا المقياس بالذات هو ما يحدد الإحساس بالسرعة.
الثانية: مقارنة داخل Humming نفسها. على نقطة الحفظ (checkpoint) ذاتها، رفع تحويل تفعيلات الخبراء من BF16 إلى FP8 الإنتاجية الخارجة بنسبة 17–34% عند 1 و32 و64 طلبًا متزامنًا. وتظهر الزيادة مع الطلبات المفردة ومع الأحمال العالية على حد سواء، فهي ليست أثرًا يقتصر على الدفعات الكبيرة.
ماذا يعني ذلك عمليًا
إذا كنتم تشغّلون نماذج MoE على وحدات GPU خاصة بكم:
- ليس من الضروري أن تكون Marlin الخيار الافتراضي. فعلى المدخلات الطويلة ربحت Humming ما بين 7% و23% في زمن الوصول إلى الرمز الأول.
- صيغة التفعيلات مهمة أيضًا. فالانتقال من BF16 إلى FP8 للخبراء يزيد سرعة الاستدلال، وبالتالي يخفض كلفة الرمز على الأجهزة نفسها.
- دعم البطاقات من Turing حتى Blackwell يسهّل الأمر على من لديهم أسطول مختلط: إذ يمكن تجربة النوى نفسها على عتاد متباين.
القيود
هذه نتائج المؤلفين أنفسهم من إعلان قصير. أُجري الاختبار على نموذج واحد وإعداد واحد: ثماني بطاقات H20-3e مع TP8/EP1. وعلى بطاقات أخرى، أو مع توازٍ مختلف، أو على نقاط حفظ أخرى، قد تختلف الأرقام. ولا يتضمن الإعلان بيانات عن تأثير تفعيلات FP8 في جودة الإجابات، لذا ينبغي قبل الإنتاج تشغيل مجموعات التقييم الخاصة بكم. ومقارنة Marlin مقدَّمة لمرحلة الملء المسبق فقط، وليس لمرحلة فك الترميز (decoding).
ونشر فريقا Venus وSCT التفاصيل في المنشور الكامل. والخطة المنطقية للمهندسين: أخذ حمل عمل نموذجي، وتشغيله على SGLang مع Marlin ومع Humming، ومقارنة الزمن حتى الرمز الأول والرموز في الثانية، ثم التحقق بصورة منفصلة من الجودة عند استخدام تفعيلات FP8.
- 21 نوفمبر 2026وكيل Skein يمحو المراحل القديمة من السياق: نجاح 97% من عمليات التشغيل، لكنه أغلى من OpenCode
- 21 نوفمبر 2026نموذج Inkling 2 Mini المفتوح بذاكرة 16 غيغابايت يلحق بـ Qwen3.8-27B في تصنيف مستقل
- 21 نوفمبر 2026لم يعد المبرمج منسّقًا لوكلاء الذكاء الاصطناعي: Multica يتولى روتين التسليم بينهم
- 21 نوفمبر 2026MLCommons تبدأ قياس واجهات الذكاء الاصطناعي تحت حمل حقيقي: 7 قياسات للوكلاء
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما هي Humming وكيف تعمل؟
Humming مجموعة من النوى منخفضة الدقة (برامج صغيرة لوحدات GPU) تُترجم «أثناء التشغيل» (JIT) بحسب المهمة المحددة. وهي تعمل مع الطبقات الكثيفة وطبقات MoE على بطاقات NVIDIA من جيل Turing حتى Blackwell. أي أنها ليست تحسينًا لبطاقة واحدة حديثة، بل أداة لأساطيل متنوعة من العتاد. وأكثر المسارات إثارة للاهتمام هو المسار الموصوف لمعمارية Hopper. تبقى أوزان الخبراء مضغوطة بدقة 4 بتات. وفي اللحظة الأخيرة فقط، وداخل المسجلات (أسرع ذاكرة في الشريحة)، تُستعاد منها المعاملات بصيغة FP8 قبيل الضرب في Tensor Core مباشرةً.
ما أبرز التفاصيل حول ما الأرقام التي تحققت؟
أُجريت القياسات على DeepSeek-V4.1-Flash-1017 على ثماني وحدات GPU من طراز H20-3e بإعداد TP8/EP1. ويتضمن الإعلان مقارنتين. الأولى: Humming مقابل Marlin. استُخدمت في الواجهتين أوزان MXFP4 وتفعيلات BF16 للخبراء. وقد سرّعت Humming مرحلة الملء المسبق بمعامل 1,07–1,23، أي بنسبة 7–23%، على مدخلات يتراوح طولها بين 4K و1016K. والمقياس هو زمن الوصول إلى الرمز الأول. وبالنسبة للخدمات التي يرسل فيها المستخدم مستندات كبيرة أو مستودعات برمجية، فإن هذا المقياس بالذات هو ما يحدد الإحساس بالسرعة. الثانية: مقارنة داخل Humming نفسها.
ما أبرز التفاصيل حول ماذا يعني ذلك عمليًا؟
إذا كنتم تشغّلون نماذج MoE على وحدات GPU خاصة بكم: ليس من الضروري أن تكون Marlin الخيار الافتراضي. فعلى المدخلات الطويلة ربحت Humming ما بين 7% و23% في زمن الوصول إلى الرمز الأول. صيغة التفعيلات مهمة أيضًا. فالانتقال من BF16 إلى FP8 للخبراء يزيد سرعة الاستدلال، وبالتالي يخفض كلفة الرمز على الأجهزة نفسها. دعم البطاقات من Turing حتى Blackwell يسهّل الأمر على من لديهم أسطول مختلط: إذ يمكن تجربة النوى نفسها على عتاد متباين.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.