تسريع Qwen3-32B بنسبة 49% دون بطاقة رسوميات جديدة: ضغط الأوزان من 16 إلى 8 بت
يمكن تسريع نموذج كبير دون بطاقة رسوميات جديدة إذا خُزّنت أوزانه بـ 8 بت (FP8) بدلًا من 16 (BF16). ففي ورشة عمل NVIDIA، أصبح Qwen3-32B على بطاقات A100 يولّد 24,5 توكن في الثانية بدلًا من 16,4. هذه زيادة بنسبة 49% لمستخدم واحد، لكن المكسب على مستوى الخادم الذي يعالج عددًا كبيرًا من الطلبات أقل، إذ ارتفع الإنتاج من 639 إلى 719 توكن في الثانية. لذلك يجدر تكرار القياس على حمل العمل الخاص بك والتحقق من جودة الإجابات.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
إذا كنت تشغّل نموذجًا لغويًا كبيرًا لديك، فالمشكلة مألوفة: الإجابات بطيئة، وثمن بطاقة الرسوميات الجديدة يعادل سيارة مستعملة. وفي ورشة عمل NVIDIA ضمن GTC Berlin 2026، ظهر أن جزءًا من السرعة يمكن الحصول عليه بإعداد واحد. فبدلًا من تخزين أوزان نموذج Qwen3-32B («ذاكرته»، أي الأرقام التي يتكوّن منها) بـ 16 بت لكل رقم، خُزّنت بـ 8 بت. يُعرف الصيغتان باسم BF16 وFP8. ونتيجة لذلك، صار النموذج على أربع بطاقات NVIDIA A100 يولّد 24,5 توكن في الثانية بدلًا من 16,4. والتوكن هنا يعادل تقريبًا مقطعًا لفظيًا أو كلمة قصيرة. بالنسبة لمستخدم واحد، هذا تسريع بنسبة 49%، ولم يكن مطلوبًا تغيير العتاد.
ما الذي فُعل بالضبط مع Qwen3-32B
عُقدت الورشة في 20 أكتوبر، وقادها مهندسا NVIDIA المعماريان Amit Kushwaha وYesika Ramirez Cardenas. كان لدى كل مشارك عنقود Kubernetes خاص به يضم أربع بطاقات NVIDIA A100 بسعة 80 غيغابايت لكل منها. وتعتمد هذه المادة على مقالة المهندس Siim Tolk المنشورة في 4 نوفمبر 2026.
شُغّل النموذج بنسختين وقورنتا عبر أداة NVIDIA AIPerf. في BF16 يشغل كل وزن 16 بت، وفي FP8 يشغل 8 بت. فيصبح حجم البيانات نصف ما كان، وتُقرأ أسرع من ذاكرة بطاقة الرسوميات. أُرسل 240 طلبًا إلى كل نسخة.
النتائج كما يلي:
- متوسط الزمن بين التوكنات: 61 مللي ثانية في BF16 و42 مللي ثانية في FP8؛
- سرعة التوليد لمستخدم واحد: 16,4 مقابل 24,5 توكن في الثانية، أي +49,4%؛
- الإنتاجية الكلية للخادم: 639 مقابل 719 توكن في الثانية، أي +12,5%.
الفرق بين الزيادتين مفهوم. فسرعة التدفق الواحد والأداء الإجمالي عند تعدد الطلبات المتوازية يتأثران بعوامل مختلفة: تجميع الطلبات (batching)، واستهلاك الذاكرة، وطبيعة الحمل. في محادثة مع شخص واحد، يقدّم FP8 مساعدة ملحوظة. أما في خادم يخدم عشرات المستخدمين في وقت واحد، فالمكسب أقل بكثير.
ما الذي لا يمكن اعتباره مثبتًا في هذه النتيجة
هناك ثلاثة تحفظات ينبغي تذكّرها قبل نقل كل شيء إلى FP8.
أولًا، لا تدعم A100 نوى Tensor Cores الأصلية لـ FP8، فقد ظهرت في معماريات NVIDIA الأحدث. لذلك فإن ورود FP8 في الإعدادات لا يخبرنا أي العمليات الحسابية جرت فعلًا بالصيغة ذات 8 بت. ومن المحتمل أن المكسب جاء في معظمه من توفير نقل الأوزان من الذاكرة. ولا تتضمن المقالة الأصلية تفاصيل التنفيذ.
ثانيًا، لم تفحص المقالة جودة الإجابات بعد التكميم (quantization). والسرعة دون تقييم الجودة نصف القياس فقط. عادةً ما تتحمل الأوزان ذات 8 بت الضغط بشكل جيد، لكن في مهمة محددة، مثل توليد الشيفرة أو العمل مع سياق طويل، قد يتراجع الناتج.
ثالثًا، تتعلق نسبة 49,4% بنموذج واحد وعتاد واحد واختبار حمل واحد. وعلى بطاقة رسوميات أخرى أو مع نموذج آخر، قد يختلف الرقم تمامًا.
ما الذي بُحث أيضًا في الورشة وما الذي يفيد منه
إلى جانب التكميم، أنجز المشاركون كتلتين أخريين. في الأولى أعدّوا Envoy AI Gateway: عنوانًا واحدًا بدلًا من عناوين منفصلة لثلاثة نماذج، ومفاتيح API، وحدودًا على التوكنات، ومحاولات إعادة عند الأخطاء، وإطلاقًا تدريجيًا لإصدار جديد من النموذج على حصة صغيرة من الحركة. والحدود على التوكنات أجدى من الحدود على الطلبات: فطلب واحد بسياق من 10 آلاف توكن يُجهد الخادم أكثر من عشرة طلبات قصيرة.
وفي الكتلة الثانية جرى تحليل NVIDIA Dynamo. فهو يفصل معالجة الموجّه (prefill) عن توليد الإجابة (decode) بين مجموعات مختلفة من وحدات GPU. كما يستطيع توجيه الطلب إلى المكان الذي حُفظ فيه بالفعل الكاش الخاص ببداية المحادثة. وهذا مفيد للمحادثات الطويلة وRAG. لكن نقل الكاش بين وحدات GPU له كلفته من الموارد، وعند الحمل المنخفض قد يكون المخطط المعتاد على الوحدات نفسها أكثر كفاءة. أما التوسّع عبر KEDA بحسب مقاييس vLLM، أي عدد الطلبات قيد التنفيذ وطول الطابور، فلا معنى له إلا في الأنظمة متعددة المستخدمين.
بالنسبة لجهاز منزلي ببطاقة رسوميات واحدة، معظم هذه المجموعة زائدة عن الحاجة. أما المفيد فهو التكميم وFlashAttention وإعدادات محرك الاستدلال.
الخلاصة العملية
لا تأخذوا نسبة 49% الخاصة بغيركم على محمل التسليم، بل كرّروا القياس لديكم. وقارنوا لا التوكنات في الثانية فحسب، بل أيضًا الزمن حتى أول توكن، واستهلاك ذاكرة الفيديو، وجودة الإجابات على مهامكم. وانظروا بشكل منفصل كيف تتغير السرعة مع مستخدم واحد ومع الحمل. في محادثة مع شخص واحد قد يساعد FP8 بشكل ملحوظ، أما في خدمة لمئة عميل، فالأرجح أن يكون المكسب أقرب إلى 12,5%.
- 21 نوفمبر 2026أسعار ذاكرة الفلاش لأقراص SSD تتراجع بنسبة 19–32% في الصفقات الفورية — وقد تنخفض أسعار وحدات التخزين
- 21 نوفمبر 2026Unsloth تحدّث نسخ Qwen3.8-27B المضغوطة: الدقة ارتفعت بنسبة 5–10% عند الحجم نفسه
- 21 نوفمبر 2026الذكاء الاصطناعي يكتب شيفرة مليئة بالثغرات في 44% من الاختبارات: Positive Technologies تزوّد الوكلاء بماسح أمني
- 21 نوفمبر 2026سبير تطلق مكبّر صوت بسعر 14 990 روبلًا مزوّدًا بـ GigaChat: يفهم الأوامر الصوتية دون إنترنت
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول ما الذي فُعل بالضبط مع Qwen3-32B؟
عُقدت الورشة في 20 أكتوبر، وقادها مهندسا NVIDIA المعماريان Amit Kushwaha وYesika Ramirez Cardenas. كان لدى كل مشارك عنقود Kubernetes خاص به يضم أربع بطاقات NVIDIA A100 بسعة 80 غيغابايت لكل منها. وتعتمد هذه المادة على مقالة المهندس Siim Tolk المنشورة في 4 نوفمبر 2026. شُغّل النموذج بنسختين وقورنتا عبر أداة NVIDIA AIPerf. في BF16 يشغل كل وزن 16 بت، وفي FP8 يشغل 8 بت. فيصبح حجم البيانات نصف ما كان، وتُقرأ أسرع من ذاكرة بطاقة الرسوميات. أُرسل 240 طلبًا إلى كل نسخة.
ما أبرز التفاصيل حول ما الذي لا يمكن اعتباره مثبتًا في هذه النتيجة؟
هناك ثلاثة تحفظات ينبغي تذكّرها قبل نقل كل شيء إلى FP8. أولًا، لا تدعم A100 نوى Tensor Cores الأصلية لـ FP8، فقد ظهرت في معماريات NVIDIA الأحدث. لذلك فإن ورود FP8 في الإعدادات لا يخبرنا أي العمليات الحسابية جرت فعلًا بالصيغة ذات 8 بت. ومن المحتمل أن المكسب جاء في معظمه من توفير نقل الأوزان من الذاكرة. ولا تتضمن المقالة الأصلية تفاصيل التنفيذ. ثانيًا، لم تفحص المقالة جودة الإجابات بعد التكميم (quantization). والسرعة دون تقييم الجودة نصف القياس فقط.
ما أبرز التفاصيل حول ما الذي بُحث أيضًا في الورشة وما الذي يفيد منه؟
إلى جانب التكميم، أنجز المشاركون كتلتين أخريين. في الأولى أعدّوا Envoy AI Gateway: عنوانًا واحدًا بدلًا من عناوين منفصلة لثلاثة نماذج، ومفاتيح API، وحدودًا على التوكنات، ومحاولات إعادة عند الأخطاء، وإطلاقًا تدريجيًا لإصدار جديد من النموذج على حصة صغيرة من الحركة. والحدود على التوكنات أجدى من الحدود على الطلبات: فطلب واحد بسياق من 10 آلاف توكن يُجهد الخادم أكثر من عشرة طلبات قصيرة. وفي الكتلة الثانية جرى تحليل NVIDIA Dynamo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.