ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارMachine Learning Mastery→ المصدر

كيف تضغط نموذج LLM بالكامل إلى 8 بتات: SmoothQuant وFP8 في مواجهة القيم الشاذة

لكي يعمل نموذج LLM أسرع، تُضغط الأرقام داخله إلى 8 بتات. مع الأوزان يُجرى ذلك مرة واحدة، أما التنشيطات (activations) — وهي القيم الوسيطة لكل طلب — فتتقلب وتحتوي على قيم شاذة. يقسم SmoothQuant القنوات «الضوضائية» في التنشيطات على معامل، ويضرب الأوزان في المعامل نفسه، فلا تتغير نتيجة الطبقة. أما W8A8 فيعني 8 بتات للأوزان والتنشيطات معًا (INT8 أو FP8). لكنه ليس أسرع دائمًا من W4A16 أو BF16، لذا قيسوا الأداء على حمل العمل الخاص بكم.

معالج بواسطة الذكاء الاصطناعي من Machine Learning Mastery؛ بتحرير Hamidun News
كيف تضغط نموذج LLM بالكامل إلى 8 بتات: SmoothQuant وFP8 في مواجهة القيم الشاذة
المصدر: Machine Learning Mastery. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليMachine Learning Mastery ↗
رئيس التحرير
حقيقة رئيسية #1نوى INT8 في vLLM تعمل على معالجات NVIDIA من Turing إلى Hopper، وعلى Blackwell يُستخدم FP8
حقيقة رئيسية #2المقياس الثابت أسرع، والديناميكي أدق لكنه يضيف عمليات حسابية
FP8 لا يقتطع البتاتيُقسَّم التنسور على المقياس ثم يُقرَّب إلى قيمة FP8

لكي يعمل نموذج LLM أسرع ويشغل ذاكرة أقل، تُخزَّن الأرقام داخله في 8 بتات بدلًا من صيغ أثقل مثل BF16 أو FP32. مع أوزان النموذج الأمر بسيط: تثبت الأوزان بعد التدريب، ويمكن ضغطها مرة واحدة قبل النشر. الأصعب هو التنشيطات (activations) — وهي القيم الوسيطة التي يحسبها النموذج من جديد مع كل طلب. تعتمد هذه القيم على الرمز المُدخل وموضعه والطبقات السابقة، وتظهر في بعض القنوات أرقام كبيرة بشكل غير طبيعي بصورة دائمة، وهي القيم الشاذة. وتصطدم صيغة W8A8 (8 بتات للأوزان والتنشيطات معًا) بهذه المشكلة تحديدًا. في تحليل جديد على موقع Machine Learning Mastery، يوضح أدريان تام كيف تُعالج المشكلة باستخدام SmoothQuant وINT8 وFP8، وما الذي يمكن تشغيله منها فعلًا في vLLM.

لماذا التنشيطات أصعب من الأوزان

تخيلوا مسطرة يجب أن نعلّم عليها طول طفل وارتفاع ناطحة سحاب معًا. إذا مددنا المقياس ليناسب ناطحة السحاب، فلن نستطيع قياس الطفل بدقة، إذ ستقع كل القيم في بضعة تدريجات. وإذا قصصنا المقياس، فسيصطدم ارتفاع ناطحة السحاب بالسقف وتضيع المعلومة عنه. وهذا ما يحدث مع القيم الشاذة في التنشيطات: النطاق الواسع يجعل خطوة التكميم (quantization) خشنة بالنسبة للقيم العادية، بينما يحسّن القص دقة القيم العادية لكنه يُتلف القيمة الشاذة.

يمكن تحديد المقياس بطريقتين. الثابت يُختار مسبقًا بناءً على بيانات المعايرة: هو سريع، لكن المدخل الواقع خارج نطاق المعايرة قد يُقص. أما الديناميكي فيُقاس أثناء الطلب نفسه: يتكيف مع كل مدخل، لكنه يضيف إلى مسار الاستدلال البحث عن القيمة القصوى وحساب المقياس. والخيار الشائع في المحولات (Transformers) هو مقياس ديناميكي لكل رمز: مقياس واحد لجميع الخصائص المخفية للرمز. ويستخدم المثال في المقال INT8 متماثلًا تكون فيه نقطة الصفر دائمًا صفرًا، ولذلك تصبح عمليات حساب ضرب المصفوفات أبسط.

SmoothQuant: نقل التعقيد إلى الأوزان

يتخلص SmoothQuant من القيم الشاذة بحيلة رياضية. تُقسَّم قنوات التنشيطات ذات القيم الكبيرة على معاملات مختارة، وتُضرب الأعمدة المقابلة في الأوزان في المعاملات نفسها. وقبل التكميم لا تتغير نتيجة الطبقة رياضيًا، لكن نطاق التنشيطات يصبح أكثر انتظامًا. والأوزان ثابتة، وعادةً ما تتحمل نطاقًا غير متساوٍ بسهولة أكبر إذا جرى تكميمها لكل قناة.

ويشير المؤلف بشكل منفصل إلى الفرق عن AWQ الذي ورد في النص السابق من السلسلة. يستخدم AWQ تنشيطات المعايرة لحماية الأوزان المهمة في صيغة مثل W4A16، بينما تبقى التنشيطات أثناء الاستدلال بصيغة أدق. أما SmoothQuant فيُعدّ الطرفين لـINT8: يغيّر الأوزان المحفوظة، ويسهّل تكميم التنشيطات أثناء التشغيل.

المسار العملي هو مكتبة LLM Compressor من مشروع vLLM. في المثال على TinyLlama-1.1B تُؤخذ 128 عينة معايرة من مجموعة بيانات ultrachat_200k بطول يصل إلى 512 رمزًا. ثم يُطبَّق SmoothQuantModifier بقوة تنعيم 0,8 وGPTQModifier لمخطط W8A8، ولا تُمسّ طبقة lm_head. يخزّن نقطة الحفظ (checkpoint) أوزان INT8 لكل قناة وتعليمات كيفية تكميم التنشيطات أثناء الاستدلال، أما التنشيطات نفسها فلا تُحفظ. ويحمّل vLLM نقطة الحفظ هذه دون وسيط منفصل للتكميم.

FP8: ليس مجرد اقتطاع للبتات

FP8 هو أيضًا تكميم بمقياس. يُقسَّم التنسور على المقياس ويُقرَّب إلى أقرب قيمة تستطيع صيغة FP8 تمثيلها. ويشدد المؤلف على أن هذا ليس مجرد قطع بتات من قيمة FP32. وهذا مهم بشكل خاص لأصحاب بطاقات Blackwell: نوى INT8 الحالية في vLLM مصممة لمعالجات NVIDIA من Turing إلى Hopper، أما على Blackwell فينبغي اختيار مسار FP8 المدعوم.

ما الذي ينبغي مراعاته عمليًا

  • التوليد القصير على TinyLlama يتحقق فقط من أن نقطة الحفظ تُحمَّل وتعمل. وقد تكون إجابة النموذج الصغير غير دقيقة، ويجب مقارنة جودة التكميم بالنموذج الأصلي على مطالبات (prompts) تمثيلية.
  • يجب أن تدعم صيغة نقطة الحفظ وبنية النموذج وإصدار vLLM ووحدة GPU مخطط W8A8 نفسه.
  • لا يضمن W8A8 مكسبًا مقارنةً بـW4A16 أو BF16. فعتاد مصفوفات INT8 يعمل جيدًا في مرحلة prefill ومع الدفعات الكبيرة، بينما يقرأ W4A16 بايتات أقل من الأوزان وقد يكون أجدى في فك الترميز (decode) بدفعات صغيرة.

الخلاصة لمن يحسب تكلفة الاستدلال: لا يوجد مخطط واحد هو الأفضل. حددوا أولًا ملف حمل العمل: مطالبات طويلة أم إجابات قصيرة، دفعات كبيرة أم صغيرة. ثم جهّزوا نسختين أو ثلاث من نقاط الحفظ، وشغّلوا اختبار الأداء لمرحلتي prefill وdecode كلٌّ على حدة، دون إغفال تقييم الجودة. وهناك تحفظ واحد: يعتمد التحليل على نموذج صغير جدًا، ولذلك سيتعين عليكم التحقق بأنفسكم من أرقام السرعة والدقة الفعلية على نماذج LLM الكبيرة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول لماذا التنشيطات أصعب من الأوزان؟

تخيلوا مسطرة يجب أن نعلّم عليها طول طفل وارتفاع ناطحة سحاب معًا. إذا مددنا المقياس ليناسب ناطحة السحاب، فلن نستطيع قياس الطفل بدقة، إذ ستقع كل القيم في بضعة تدريجات. وإذا قصصنا المقياس، فسيصطدم ارتفاع ناطحة السحاب بالسقف وتضيع المعلومة عنه. وهذا ما يحدث مع القيم الشاذة في التنشيطات: النطاق الواسع يجعل خطوة التكميم (quantization) خشنة بالنسبة للقيم العادية، بينما يحسّن القص دقة القيم العادية لكنه يُتلف القيمة الشاذة. يمكن تحديد المقياس بطريقتين.

ما أبرز التفاصيل حول SmoothQuant: نقل التعقيد إلى الأوزان؟

يتخلص SmoothQuant من القيم الشاذة بحيلة رياضية. تُقسَّم قنوات التنشيطات ذات القيم الكبيرة على معاملات مختارة، وتُضرب الأعمدة المقابلة في الأوزان في المعاملات نفسها. وقبل التكميم لا تتغير نتيجة الطبقة رياضيًا، لكن نطاق التنشيطات يصبح أكثر انتظامًا. والأوزان ثابتة، وعادةً ما تتحمل نطاقًا غير متساوٍ بسهولة أكبر إذا جرى تكميمها لكل قناة. ويشير المؤلف بشكل منفصل إلى الفرق عن AWQ الذي ورد في النص السابق من السلسلة.

ما أبرز التفاصيل حول FP8: ليس مجرد اقتطاع للبتات؟

FP8 هو أيضًا تكميم بمقياس. يُقسَّم التنسور على المقياس ويُقرَّب إلى أقرب قيمة تستطيع صيغة FP8 تمثيلها. ويشدد المؤلف على أن هذا ليس مجرد قطع بتات من قيمة FP32. وهذا مهم بشكل خاص لأصحاب بطاقات Blackwell: نوى INT8 الحالية في vLLM مصممة لمعالجات NVIDIA من Turing إلى Hopper، أما على Blackwell فينبغي اختيار مسار FP8 المدعوم.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…