NVIDIA QAD: كيف تضغط نموذجًا إلى 4 بت دون أن يفقد «عقله»

كل من حاول تشغيل Llama-3 70B على بطاقة رسوميات منزلية يعرف شعور التنازل المرير. فإما أن تنفق ثروة على H100، وإما أن تضغط النموذج حتى يصير «يقطينة» تتخبط في الحساب الأولي. وتكمن مشكلة التكميم بدقة 4 بت دائمًا في أنه يقتطع بلا رحمة تفاصيل دقيقة في الأوزان، رغم أهميتها للاستدلال المعقد. ورأت NVIDIA أن الوقت قد حان لإنهاء هذه المهزلة، فأطلقت طريقة QAD التي تغيّر قواعد اللعبة في مجال الكفاءة.

ولفهم أهمية ذلك الآن، لا بد من النظر في كيفية تدريب النماذج. تمر نماذج LLM الحديثة بمرحلة RLHF، أي التعلّم المعزّز القائم على ملاحظات البشر. تجعل هذه العملية الإجابات ألطف وأكثر أمانًا، لكنها تجعل توزيع أوزان النموذج هشًّا للغاية. وعند تطبيق التكميم القياسي (QAT) على نموذج «مصقول» كهذا، ينهار حرفيًّا. وتتضرر الرياضيات وكتابة الشيفرة أولًا، لأن المطلوب فيهما دقة مطلقة، لا مجرد توقع الكلمة التالية المحتملة.

تتعامل طريقة QAD (Quantization-Aware Distillation) مع المسألة بشكل مختلف. فبدلًا من تقريب الأرقام ببساطة والأمل في أفضل النتائج، تستخدم NVIDIA التقطير. وفي هذه العملية، يوجّه نموذج «معلّم» كامل الحجم نموذجه «التلميذ» المضغوط بدقة 4 بت. ويكمن سرّ النجاح في استخدام KL-divergence، وهو مقياس يُلزم النموذج المضغوط بنسخ منطق توزيع الاحتمالات في النموذج الأصلي بأكبر دقة ممكنة. وهذا يقلّل الضجيج الذي لا مفر منه عند الانتقال من أرقام 16 بت إلى 4 بت.

وأطرف ما في هذه القصة وألطفه أن QAD تعمل حتى على بيانات عشوائية أو اصطناعية. فلا حاجة إلى تنزيل تيرابايتات من مجموعة التدريب الأصلية لمعايرة النسخة المضغوطة. وهذا يزيح عبئًا كبيرًا عن المطورين الذين لا يملكون وصولًا إلى مجموعات البيانات المغلقة للمختبرات الكبرى. وقد حصلنا أخيرًا على أداة تتيح أخذ أوزان ضخمة وتعبئتها في صيغة مدمجة دون أن يتحول النموذج إلى مساعد «مفصوص» أي فاقد لقدراته.

ما معنى ذلك عمليًّا؟ إذا كان التشغيل الجيد لنماذج 49B أو 70B يتطلب سابقًا بطاقتين أو أربعًا من فئة RTX 3090/4090، فإن عتبة الدخول تنخفض الآن بوضوح. وجودة الإجابات في صيغة 4 بت عبر QAD لا تكاد تختلف عن النموذج الأصلي في اختبارات المنطق والبرمجة. وهذا طريق مباشر لأن تصبح مساعدات AI المحلية ذكية فعلًا، لا مجرد محاكاة للكلام البشري.

وتثبت NVIDIA مرة أخرى أن البرمجيات والخوارزميات لا تقل أهمية عن عدد الترانزستورات في الشريحة. فبينما يحاول المنافسون اللحاق بها في القوة الخام للعتاد، تبني «الخضراء» منظومة تصبح فيها بطاقاتها أكفأ بأضعاف بفضل الضغط الذكي. وهذا ليس مجرد تحسين، بل معيار جديد للصناعة، لم يعد فيه حجم النموذج حكمًا على الميزانية.

الخلاصة: QAD تجعل نماذج 4 بت صالحة للعمل الجاد، لا للاختبارات فحسب. فهل سنتمكن قريبًا من تشغيل أداء بمستوى GPT-4 على وحدة GPU منزلية واحدة؟