ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارMachine Learning Mastery→ المصدر

التكميم يجعل أوزان LLM بصيغة INT8 أخف بمرتين من FP16: دليل TorchAO

لإنتاج كل رمز، يعيد LLM قراءة جميع أوزانه من الذاكرة، وعند الأحمال الصغيرة يستغرق ذلك وقتًا أطول من الحسابات نفسها. يخزّن التكميم الأوزان بأعداد صحيحة ذات 8 بتات (INT8) بدلًا من أعداد عشرية ذات 16 بتًا (FP16)، فتحتاج إلى مساحة أقل بمرتين، وتنفّذ مكتبة TorchAO من PyTorch ذلك بدالة واحدة ودون إعادة تدريب. يعتمد التسريع على بطاقة الرسوميات والنوى المستخدمة، لذا قِس بعد الضغط الذاكرة والسرعة وجودة النموذج بأكمله.

معالج بواسطة الذكاء الاصطناعي من Machine Learning Mastery؛ بتحرير Hamidun News
التكميم يجعل أوزان LLM بصيغة INT8 أخف بمرتين من FP16: دليل TorchAO
المصدر: Machine Learning Mastery. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليMachine Learning Mastery ↗
رئيس التحرير
حقيقة رئيسية #1يختار GPTQ وAWQ الأوزان بالاعتماد على أمثلة معايرة، لا بالتقريب البسيط
حقيقة رئيسية #2GPTQ غير المتماثل لا يعمل مع الواجهة الخلفية Marlin: اخترهما معًا
حقيقة رئيسية #3يمكن تفعيل INT4 بمجموعة 128 في transformers مباشرةً عند تحميل النموذج

تخيّل أن روبوت الدردشة يضطر، عند كتابة كل كلمة، إلى تصفّح موسوعته كاملةً من جديد. يعمل LLM على بطاقة الرسوميات بطريقة مشابهة: فعند كل رمز جديد يقرأ المحوّل (transformer) جميع أوزانه من الذاكرة. وعندما تكون الدفعات صغيرة (أي حين يُعالَج عدد قليل من الطلبات)، يستغرق نقل الأوزان وقتًا أطول من العمليات الحسابية نفسها.

يعالج التكميم هذه المشكلة بتخزين الأوزان بعدد أقل من البتات. فالعدد الصحيح ذو 8 بتات (INT8)، مثلًا، يشغل مساحة أقل بمرتين من العدد العشري ذي 16 بتًا (FP16 أو BF16). فضلًا عن ذلك، تُجري كثير من مسرّعات الذكاء الاصطناعي الحسابات بدقة منخفضة أسرع منها بـ FP16.

وقد حلّل أدريان تام من Machine Learning Mastery هذا الموضوع عمليًا، بدءًا من المعادلة وصولًا إلى نقاط الحفظ (checkpoints) الجاهزة، بما في ذلك عبر TorchAO، مكتبة التكميم المدمجة في PyTorch.

كيف تتحول الأوزان إلى أعداد صحيحة

أسهل طريقة للفهم أن تتخيّل مسطرة. يُقسَّم نطاق قيم الأوزان إلى عدد محدود من التدريجات، ويُسجَّل كل وزن برقم أقرب تدريجة إليه. ولهذا تلزم معلمتان: المقياس (الخطوة بين تدريجتين متجاورتين) ونقطة الصفر (رقم التدريجة المقابلة للصفر الحقيقي). وعند الاستخدام يُعاد تحويل الرقم إلى قيمة تقريبية. والفرق بين القيمة الأصلية والقيمة المستعادة هو خطأ التقريب.

يحذّر الكاتب من فخ. فالمثال التعليمي على PyTorch يخزّن القيم بصيغة uint8، فتشغل كل قيمة بايتًا كاملًا حتى لو طلبتَ 4 بتات. ولتحقيق توفير حقيقي، ينبغي أن تعبّئ الصيغة العملية القيم في مساحة أقل من بايت. وثمة تفصيل آخر: استخدام مقياس واحد للتنسور بأكمله يُضعف الجودة. وفي حالة LLM تكون الأفضل عادةً مخططات تعمل لكل قناة أو لكل مجموعة، حيث يكون لكل صف في المصفوفة أو لكل كتلة من الأوزان نطاقها الخاص.

يعني وضع weight-only أن الأوزان وحدها هي التي تُضغط، بينما تبقى بيانات الإدخال للطبقة (التنشيطات) بصيغة FP16 أو BF16. وتستخدم النواة الفعّالة الأوزان الصحيحة مباشرةً، ولا تعيد بناء نسخة كاملة من المصفوفة.

TorchAO وGPTQ وAWQ: ثلاث طرق للحصول على نموذج مضغوط

أقصر طريق تقدّمه TorchAO. فالدالة quantize_() تستبدل في مكانها أوزان طبقات Linear المناسبة في نموذج مدرَّب مسبقًا. ولا حاجة إلى إعادة التدريب، ولذلك تسمى هذه الطريقة التكميم بعد التدريب. في المثال، يطلب الكاتب INT8 غير متماثل لكل قناة مع تنشيطات بصيغة BF16. وعبر مكتبة transformers يمكن تطبيق الإعداد مباشرةً عند تحميل النموذج، مثل INT4 بمجموعة 128. ويشير الكاتب بشكل منفصل إلى أن اختيار خوارزمية HQQ والتعبئة المبلّطة (tile packing) صراحةً أتاح تجاوز الاعتماد الاختياري على نواة MSLK في TorchAO 0.17 على بطاقة RTX 4090 التي جرى الاختبار عليها. وقد تختلف التخطيطات المتاحة على إصدارات وبطاقات أخرى.

يتعامل التقريب البسيط مع كل وزن على حدة، ولا يراعي مدى تأثير قناة الإدخال المعنية في الإجابة. أما GPTQ وAWQ فيستخدمان أمثلة معايرة، أي مجموعة صغيرة من النصوص النموذجية. يضغط GPTQ الطبقات طبقةً تلو الأخرى، ويعدّل أثناء ذلك الأوزان التي لم تُضغط بعد ليعوّض الخطأ المتراكم. وفي transformers صارت الواجهة الخلفية GPT-QModel تعمل معه الآن، وتجري المعايرة في المثال على مجموعة البيانات c4، بينما يفعّل المعامل sym=False المخطط غير المتماثل. أما AWQ فيحدد الأوزان المهمة عند التنشيطات النموذجية، ويختار معاملات تحميها قبل الضغط.

وهناك عقبات أيضًا. فنقاط حفظ GPTQ غير المتماثلة تعمل مع عدد أقل من النوى: الواجهة الخلفية Marlin لا تدعمها. ويأخذ التنفيذ المرجعي لـ AWQ للمعايرة 128 مثالًا من pile-val-backup بطول 512 رمزًا لكل مثال، ولا يمكن اختيار مجموعة بيانات أخرى عبر سطر الأوامر الخاص به. أما ملف .pt الخام بعد التكميم فليس نقطة حفظ كاملة بصيغة Hugging Face: فهو يخلو من إعدادات النموذج والمجزّئ (tokenizer)، ويجب تعبئتهما بشكل منفصل.

ماذا نفعل عمليًا

  • اختر المخطط والواجهة الخلفية معًا. فالإعداد الصحيح رياضيًا ليس دائمًا الأسرع، ويجب أن تدعم بيئة التشغيل صيغة التعبئة بدقة.
  • لا تحسب التوفير بالمعادلة. يوفّر INT8 تخزينًا خامًا أقل بمرتين من FP16 أو BF16، لكن الحصيلة النهائية تتوقف على التعبئة والمجموعات والمقاييس.
  • قِس النموذج بأكمله. تعتمد السرعة على العتاد والنوى وأشكال المصفوفات. راقب الذاكرة وزمن الاستجابة والجودة على مهامك الخاصة، لا على طبقة منفردة.
  • تحقق من المعايرة. تتوقف نتيجة GPTQ وAWQ على مدى تشابه الأمثلة مع الحركة الفعلية. وفي حالة الشيفرة البرمجية أو النصوص القانونية أو لغة أخرى، قد لا تناسب مجموعة البيانات العامة.

ويتناول المقال أيضًا التحويل إلى صيغة GGUF لـ llama.cpp (ويتطلب نسخة مبنية من المستودع) وتقييم آثار التكميم. غير أن المصدر الأصلي ينقطع في نسختنا عند منتصف قسم GPTQ، ولذلك لا تتوفر فيه أرقام عن السرعة النهائية وخسارة الجودة. وبالنسبة إلى الفرق التي تحسب تكلفة الاستدلال، يُعدّ هذا ملخصًا مفيدًا. والترتيب المعقول هو: ابدأ بخيار TorchAO دون معايرة كنقطة مرجعية، وقِس الذاكرة والسرعة والجودة، ثم جرّب GPTQ أو AWQ حيث تحتاج إلى ضغط أقوى.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف تتحول الأوزان إلى أعداد صحيحة؟

أسهل طريقة للفهم أن تتخيّل مسطرة. يُقسَّم نطاق قيم الأوزان إلى عدد محدود من التدريجات، ويُسجَّل كل وزن برقم أقرب تدريجة إليه. ولهذا تلزم معلمتان: المقياس (الخطوة بين تدريجتين متجاورتين) ونقطة الصفر (رقم التدريجة المقابلة للصفر الحقيقي). وعند الاستخدام يُعاد تحويل الرقم إلى قيمة تقريبية. والفرق بين القيمة الأصلية والقيمة المستعادة هو خطأ التقريب. يحذّر الكاتب من فخ. فالمثال التعليمي على PyTorch يخزّن القيم بصيغة uint8، فتشغل كل قيمة بايتًا كاملًا حتى لو طلبتَ 4 بتات.

ما أبرز التفاصيل حول TorchAO وGPTQ وAWQ: ثلاث طرق للحصول على نموذج مضغوط؟

أقصر طريق تقدّمه TorchAO. فالدالة quantize_() تستبدل في مكانها أوزان طبقات Linear المناسبة في نموذج مدرَّب مسبقًا. ولا حاجة إلى إعادة التدريب، ولذلك تسمى هذه الطريقة التكميم بعد التدريب. في المثال، يطلب الكاتب INT8 غير متماثل لكل قناة مع تنشيطات بصيغة BF16. وعبر مكتبة transformers يمكن تطبيق الإعداد مباشرةً عند تحميل النموذج، مثل INT4 بمجموعة 128.

ما أبرز التفاصيل حول ماذا نفعل عمليًا؟

اختر المخطط والواجهة الخلفية معًا. فالإعداد الصحيح رياضيًا ليس دائمًا الأسرع، ويجب أن تدعم بيئة التشغيل صيغة التعبئة بدقة. لا تحسب التوفير بالمعادلة. يوفّر INT8 تخزينًا خامًا أقل بمرتين من FP16 أو BF16، لكن الحصيلة النهائية تتوقف على التعبئة والمجموعات والمقاييس. قِس النموذج بأكمله. تعتمد السرعة على العتاد والنوى وأشكال المصفوفات. راقب الذاكرة وزمن الاستجابة والجودة على مهامك الخاصة، لا على طبقة منفردة. تحقق من المعايرة. تتوقف نتيجة GPTQ وAWQ على مدى تشابه الأمثلة مع الحركة الفعلية.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…