ThinkBit يضغط Qwen3-14B إلى 3,74 غيغابايت ويحافظ على 94,8 في MATH-500

يبدو ضغط نماذج LLM إلى بتّين مقبولاً على الورق منذ زمن: فقيمة perplexity بالكاد ترتفع، وتُجتاز اختبارات الاختيار من متعدد. لكنّ هذه النماذج كثيراً ما تفقد قدرتها على الاستدلال. فريق ThinkBit، الذي ترتبط ورقته البحثية بمنظمة Microsoft على Hugging Face، عالج المشكلة من الجهة المعاكسة، وبنى طريقته خصيصاً لسلاسل الاستدلال الطويلة. والنتيجة على Qwen3-14B: ملف بحجم 3,74 غيغابايت يسجّل 94,8 في MATH-500، بينما يسجّل النموذج الأصلي بصيغة bfloat16 وبحجم 29,5 غيغابايت 97,5. الفرق في الحجم يقارب ثمانية أضعاف، والفرق في الجودة أقل من ثلاث نقاط.

لماذا ينهار الاستدلال أولاً

تُخرج نماذج الاستدلال آلاف الرموز (tokens) لكل إجابة. ولا تحدّ من سرعة التوليد هنا الحسابات، بل سعة نطاق الذاكرة: فعند كل رمز يجب قراءة الأوزان كاملة. وتخزينها في بتّين بدلاً من ستة عشر يعني، من حيث المبدأ، خفض كلفة الاستدلال (inference) 8 أضعاف. غير أن المقاييس المعتادة لتقييم الطرق ثنائية البت، أي perplexity واختبارات multiple-choice QA، لا تكشف الكثير عمّا إذا كان النموذج سينجو في مهمة معقدة متعددة الخطوات. فالخطأ الصغير في الأوزان يتراكم على امتداد سلسلة طويلة من الرموز، وتنحرف الإجابة النهائية.

يبقى ThinkBit سلّمياً (scalar) بالكامل. فكل وزن يُمثَّل ككلمة رمزية صحيحة مضروبة في معامل مقياس بصيغة bfloat16 مشترك بين مجموعة من الأوزان. ولا يعتمد الإطار على التكميم المتجهي ذي دفاتر الرموز الكبيرة، ولذلك فصيغته أبسط في التنفيذ داخل بيئات التشغيل (runtimes).

أربع مراحل وحَكَم أخير

المسار متسلسل، ولكل مرحلة دورها:

• توزيع عدد البتات. يصنّف مقياس الحساسية كل طبقة ضمن أحد ثلاثة مستويات: ثلاثي (ternary) أو 2-بت أو 3-بت. تحصل الطبقات الحرجة على بتات أكثر، وتحصل الطبقات المستقرة على بتات أقل.
• البحث عن الكلمات الرمزية. خوارزمية طبقة تلو طبقة قائمة على Gumbel-softmax تبحث عن الكلمات الرمزية المثلى كتلةً تلو أخرى.
• إعادة معايرة المقاييس. المخطط الطبقي لا يرى كيف تؤثر الطبقات المكمّمة بعضها في بعض. لذلك تُجمَّد الكلمات الرمزية، وتُضبط المقاييس وفق loss قائم على تقطير المعرفة (distillation) من نموذج معلّم.
• QAT قصير. يتيح التدريب الواعي بالتكميم للنموذج أن يحاكي توزيع النموذج الأساسي عبر إعادة تعيين الكلمات الرمزية.
• اختيار نقطة الحفظ (checkpoint). اختبار استدلال زوجي على مسائل التدريب يقرّر أيّ النتيجتين تبقى: نتيجة إعادة المعايرة أم نتيجة QAT. ويستند الاختيار إلى القدرة على الاستدلال، لا إلى perplexity.

الخطوة الأخيرة هي الأكثر غرابة. فـ QAT لا يحسّن الاستدلال دائماً، والمؤلفون يتحققون من ذلك مباشرة بدلاً من افتراضه.

الأرقام على Qwen3-1.7B وQwen3-14B

على Qwen3-1.7B وبحجم مماثل، تسجّل نقطة الحفظ المعاد معايرتها في ThinkBit 46,7 في MATH-500. وتعطي EfficientQAT على البيانات نفسها 30,0. وبعد QAT على مسارات الاستدلال ترتفع النتيجة إلى 73,0. ويشغل الملف حينها 0,52 غيغابايت. وهو أصغر من أي نسخة GGUF ثنائية البت منشورة لهذا النموذج، وأدق منها في MATH-500.

القائمة الكاملة للمقاييس المذكورة:

• Qwen3-1.7B، إعادة معايرة ThinkBit: 46,7 في MATH-500
• Qwen3-1.7B، EfficientQAT على البيانات نفسها: 30,0
• Qwen3-1.7B، ThinkBit بعد QAT على مسارات الاستدلال: 73,0
• حجم Qwen3-1.7B في ThinkBit: 0,52 غيغابايت، أصغر من جميع نسخ 2-bit GGUF المنشورة
• Qwen3-14B، ThinkBit: 3,74 غيغابايت، 94,8 في MATH-500
• Qwen3-14B، bfloat16: 29,5 غيغابايت، 97,5 في MATH-500

يبلغ الضغط الفعلي لنموذج 14B نحو 7,9 مرات، وهو قريب من السقف النظري البالغ 8 مرات عند الانتقال من 16 بتاً إلى 2 بت. ويتوسّع الأسلوب من 1,7B إلى 14B دون أن يفقد منطقه العام.

ماذا يحصل عليه من يشغّلون النماذج بأنفسهم

يتّسع نموذج بقدرة استدلال قوية وبحجم 3,74 غيغابايت لبطاقة رسوميات بذاكرة 8 غيغابايت، مع هامش لـ KV-cache. وكانت هذه الفئة من المهام تتطلب سابقاً بطاقات بذاكرة 24–32 غيغابايت. وبالنسبة إلى التشغيل المحلي والخدمات ذات التوليد الطويل، فهذا توفير مباشر: ذاكرة أقل لكل نسخة (replica)، ونسخ أكثر على البطاقة نفسها، وإنتاجية أعلى.

عند تقييم نماذجكم المكمّمة، يُنصح بإضافة مسائل استدلال مثل MATH-500 إلى مجموعة الاختبارات، وعدم الاكتفاء بمقارنة perplexity. وتُظهر نتائج 1,7B بسهولة كيف تتباعد المقاييس: فالفجوة بين 30,0 و46,7 عند حجم متقارب لم تكن perplexity على الأرجح لتكشفها. وحتى الآن لا ترتبط بالورقة أي نماذج ولا مجموعات بيانات ولا Space، لذا سيتعيّن إعادة إنتاج النتائج استناداً إلى وصف الطريقة.