كيف تضغط نموذجًا لغويًا إلى الثلث: دليل عملي لـ FP8 وGPTQ وSmoothQuant

تتيح أداة llmcompressor مفتوحة المصدر ضغط النماذج اللغوية المدرَّبة مسبقًا إلى حجم يناسب الاستخدام الفعلي في بيئات الإنتاج. ويوضح دليل عملي جديد كيفية تطبيق التكميم على النماذج الجاهزة المضبوطة على التعليمات، وكيفية اختيار الطريقة المثلى لسيناريو العمل لديك.

ما هو تكميم النماذج

التكميم (quantization) هو خفض دقة الأعداد التي يعمل بها النموذج. فبدلًا من الأعداد المعتادة بدقة 16 بت (FP16) أو 32 بت (FP32)، يمكن للنموذج أن يعمل بقيم 8 بت (int8) أو حتى 4 بت. وهذا يجعل النموذج أصغر حجمًا وأسرع، لكنه قد يضعف جودة الإجابات.

ثمة نهجان: التكميم أثناء التدريب (QAT) والتكميم بعد التدريب (PTQ). الأول أدق، لكنه يتطلب إعادة تدريب النموذج على بيانات. أما الثاني فأسرع، إذ يُطبَّق على نموذج جاهز قبل استخدامه مباشرة، دون حاجة إلى إعادة التدريب.

يتخصص llmcompressor في PTQ، أي التكميم بعد التدريب. وهذا يتيح تطبيق الضغط في غضون ساعات بدلًا من أسابيع من إعادة التدريب. يحمّل المهندس نموذجًا جاهزًا في llmcompressor ويختار طريقة التكميم، وبعد بضع ساعات يحصل على نسخة مضغوطة جاهزة للتشغيل على عتاد محدود القدرات.

مقارنة بين ثلاث طرق للتكميم

يختبر الدليل بالتفصيل ثلاثة نُهج مختلفة على النموذج الأساسي نفسه:

• تكميم FP8 الديناميكي — الأبسط، ويعمل في دقائق ولا يتطلب معايرة على بيانات إضافية. تُحوَّل جميع الأعداد (الأوزان والتنشيطات) إلى صيغة 8 بت. العيب: دقة أقل، وقد تخسر ما يصل إلى 5 % من جودة الإجابات
• GPTQ (W4A16) — يضغط أوزان النموذج فقط إلى 4 بت، بينما تبقى التنشيطات بـ16 بت الأصلية. يتطلب معايرة بسيطة على عينة من البيانات. توازن جيد بين السرعة والجودة
• SmoothQuant مع GPTQ (W8A8) — الأدق بين الطرق الثلاث؛ إذ تُكمَّم الأوزان والتنشيطات إلى 8 بت، لكن مع توزيع ذكي للقيم. وهو أبطأ من غيره ويحتاج إلى بيانات معايرة أكثر، غير أن نتائجه تبقى قريبة من النموذج الأصلي بخسارة تقل عن 1 %

جرى اختبار كل طريقة على مهمة حقيقية، هي توليد النصوص استجابةً لطلبات المستخدمين. وقيس حجم الملف على القرص، وسرعة التوليد (زمن الاستجابة latency والإنتاجية throughput)، إضافةً إلى «الحيرة» perplexity للنموذج، وهي مقياس لمدى أخطاء النموذج على بيانات الاختبار.

نتائج الاختبارات

قد ينخفض الحجم على القرص بمقدار 3-4 أضعاف. فالنموذج بدقة 16 بت يشغل مساحة أكبر بكثير من نسخة 8 بت من النموذج نفسه. وترتفع سرعة الاستدلال بما يتناسب مع الضغط، ويظهر ذلك بوضوح خاص على الأجهزة المحمولة حيث تكتسب البطارية أهمية حاسمة.

تعتمد الدقة على الطريقة المختارة. يخسر FP8 ما يصل إلى 5 % من جودة الإجابات، بينما تقل خسارة SmoothQuant عن 1 %. وفي سيناريوهات الإنتاج التي يكون فيها كل جزء من الدقة حاسمًا، يُفضَّل SmoothQuant حتى لو كان أبطأ. أما لتوليد الأفكار والمسودات والمهام المساعدة، فيناسب FP8، إذ يبرر توفير الحوسبة خسارة الجودة.

الخلاصة العملية من الدليل: إذا كنت تحتاج إلى السرعة وانخفاض التكاليف، فاختر FP8. وإذا كانت الدقة حاسمة وكنت مستعدًا لإنفاق وقت أطول على الاستدلال، فاختر SmoothQuant.

لمن هذا الدليل

هذه الأداة وهذا النهج مفيدان للشركات التي تريد تشغيل نموذجها اللغوي في بيئة الإنتاج:

— على الحافة (edge)، أي على جهاز المستخدم دون إرسال البيانات إلى السحابة — في سحابة خاصة بعتاد وميزانية محدودين — على نطاق واسع: فكلما صغر النموذج، قلّت تكلفة المعالجة الدفعية والفواتير السحابية

تستخدم الشركات الناشئة وقطاع الأعمال التكميمَ بنشاط بالفعل. فقد أطلقت Meta* نموذج Llama 2 مع دعم رسمي لتكميم int8. وأصدرت Hugging Face مكتبة bitsandbytes التي تبسّط التكميم على المهندسين. والآن يتيح llmcompressor إجراء ذلك مع تحكم دقيق في الطريقة المستخدمة.

ماذا يعني ذلك

ينتقل التكميم من فئة التجارب إلى أداة قياسية في خط أنابيب تعلّم الآلة (ML-pipeline). إنه إغلاق للميل الأخير: فأدوات مثل llmcompressor تتيح للمهندس اختيار المفاضلة بين الحجم والسرعة والجودة في غضون ساعات بدلًا من أسابيع من التجارب.

وبالنسبة إلى القطاع ككل، يعني ذلك أن النماذج اللغوية الكبيرة تصبح أيسر منالًا وأقل كلفة في التشغيل وأكثر أمانًا من حيث الخصوصية، لأنه يمكن تشغيلها محليًا دون سحابة.

*Meta مصنَّفة منظمة متطرفة ومحظورة في روسيا الاتحادية.