استبدال أوزان LLM بوصفة: محاولات لاختزال 16 ГБ من المصفوفات في صيغ رياضية

يشغل نموذج بحجم 8 млрд معامل بدقة fp16 نحو 16 ГБ: ثمانية مليارات رقم، لكل منها بايتان. أما النسخة ذات 70 млрд فتصل إلى 140 ГБ. ويقلّص التكميم (quantization) إلى 4 بت نموذج 8B إلى نحو 4–5 ГБ، لكنها تبقى المصفوفات نفسها بدقة مخفَّضة. وقد نشر Habr AI تحليلاً لفكرة أكثر جذرية: ألا تُخزَّن الأوزان نفسها، بل وصفة صغيرة يمكن حسابها منها.

يتناول إعلان المادة عدة عائلات من هذه الطرق. أما تفاصيل التطبيقات ونتائج الاختبارات المعيارية (benchmarks) فلا توجد إلا في المقال الكامل للمؤلف، ولذلك نكتفي هنا بوصف المقاربات نفسها وقيودها المعروفة.

شبكة ترسم شبكة

أشهر هذه المقاربات هي الشبكات الفائقة (hypernetworks). وردت الفكرة في ورقة HyperNetworks عام 2016: تتلقى شبكة صغيرة مدخلاً، مثل رقم الطبقة ومتجهاً قابلاً للتدريب، وتُخرج أوزان الشبكة الكبيرة. ولا يلزم تخزين سوى المولِّد ومجموعة من المتجهات القصيرة.

ولهذا النهج ثمن واضح. فالمولِّد ينتج أوزاناً من عائلة ضيقة، وإذا احتاجت المهمة الفعلية إلى مصفوفات «غير ملائمة» تراجعت الدقة. والتدريب أكثر تعقيداً أيضاً، إذ يمر التدرّج (gradient) عبر مستويين من الشبكات لا عبر مستوى واحد.

الصيغ والفراكتلات

الفرع الثاني هو الأوصاف التحليلية. فإذا انطبقت أوزان طبقة ما على دالة ملساء، يكفي تخزين معاملاتها وحساب القيم وفق إحداثيات العنصر في المصفوفة. وبهذه الطريقة تعمل التمثيلات العصبية الضمنية، مثل SIREN للصور وNeRF للمشاهد.

أما الفكرة الفراكتلية فمصدرها ضغط الصور في أواخر الثمانينيات. تُوصَف كتل البيانات بوصفها نسخاً محوَّلة من كتل أخرى، وبدلاً من تخزين المصفوفة تُخزَّن مجموعة من قواعد التشابه الذاتي. وهذا ممكن في الأوزان ما دامت فيها بنية متكررة، لكن نماذج LLM المدرَّبة لا تُظهرها دائماً، بل بعيد ذلك.

وتقترب من المنطق نفسه الطرق التي تستخدم مولّدات الأعداد شبه العشوائية. ففي ورقة SeedLM عام 2024 تُقرَّب كتلة الأوزان بتركيبة من تسلسل تولّده «بذرة» (seed) قصيرة ومن عدة معاملات. تُخزَّن البذرة، ويُعاد حساب الباقي عند التحميل.

الثمن الواجب دفعه

نادراً ما يكون الاختزال في هذا المجال مجانياً. وفيما يلي أبرز المقايضات العامة:

• الذاكرة مقابل الحساب. لا تُقرأ الأوزان من الذاكرة بل تُولَّد، وهذا يضيف عمليات إلى كل طبقة.
• الدقة. كل تقريب يُنتج خطأً، وتتراكم الأخطاء مع عمق النموذج.
• التدريب. إما أن يُدرَّب النموذج منذ البداية بتمثيل مضغوط، أو يُضغط بعد التدريب، وفي الحالة الثانية تتوقف الجودة على خصائص الأوزان المعنية.
• العتاد. وحدات GPU محسَّنة لضرب المصفوفات الكثيفة. وقد يلتهم توليد الأوزان غير القياسي أثناء التشغيل المكسبَ المتحقق في الذاكرة.

يقارن مؤلف المادة مسار LLM بمصير أول لعبة Doom التي شُغّلت على الحاسبات والطابعات وغيرها من الإلكترونيات المنزلية. أما نظيرها من النماذج فلا يعمل بعد على كل غلاية: فحتى النموذج المضغوط بشدة يصطدم بعرض نطاق الذاكرة، لا بحجمها فقط.

الخلاصة العملية

بالنسبة إلى المهندسين الذين ينشرون النماذج على الأجهزة، يظل الضغط عبر الوصفات اتجاهاً بحثياً. فما زالت تعمل في بيئات الإنتاج تقنيات التكميم ومحوّلات LoRA والتقطير (distillation). ويستحق متابعة الشبكات الفائقة والطرق القائمة على البذور من يصطدمون بحجم حزمة التوزيع: ففي التطبيقات المحمولة والاستدلال داخل المتصفح والأنظمة المدمجة، قد يحسم توفير بمقدار الضعف في التخزين مسألة إمكانية التشغيل أصلاً. وقبل اعتماد أي منها ينبغي التحقق من ثلاثة أمور: فقدان الجودة في مهامكم الخاصة، وزمن التأخير على العتاد المستهدف، وتعقيد التدريب الإضافي.