تقليم LLM هيكلياً دون فقدان الدقة: اختبار الطريقة على Llama-3-8B وVicuna

في يوليو 2026 نُشرت على arXiv ورقة بحثية تقدّم طريقة جديدة للتقليم الهيكلي للنماذج اللغوية الكبيرة. وصف الباحثون ثلاث مشكلات منهجية تظهر عند نقل تقنية AFR إلى التقليم الهيكلي، واقترحوا نهجاً موحداً يجمع بين التحويل الأُسّي، والتجميع الذي يحافظ على الإشارات، وقصّ القيم الشاذة بحسب المئينات. وأظهرت التجارب على Llama-3-8B وVicuna-v1.5-13B وLLaVA-v1.5-13B دقة تضاهي دقة التقليم غير الهيكلي، مع تسريع فعلي للاستدلال.

لماذا يُفضَّل التقليم الهيكلي في النشر الفعلي

التقليم (pruning) من الأساليب الأساسية لضغط الشبكات العصبية: تُحذف المعاملات غير المهمة، فيصبح النموذج أصغر وأسرع. وهناك نهجان مختلفان جذرياً.

التقليم غير الهيكلي يُصفّر أوزاناً منفردة، فينتج مصفوفات متناثرة. وتتأثر الدقة بدرجة أقل، لكنه لا يمنح تقريباً أي تسريع عملي على وحدات GPU القياسية، إذ يتطلب نوى متخصصة أو عتاداً غير متاح لمعظم الفرق.

أما التقليم الهيكلي فيحذف عصبونات كاملة أو رؤوس انتباه أو طبقات. ويعمل النموذج الناتج، بكثافته القياسية، بسرعة أكبر على العتاد المعتاد دون حيل إضافية. غير أن جودته ظلت تقليدياً أدنى من الطرق غير الهيكلية. وقد تناول مؤلفو الورقة هذه الفجوة تحديداً.

ثلاث مشكلات عند تكييف AFR

تقنية AFR (Adaptive Feature Retention) طريقة غير هيكلية تحتفظ بالأوزان «المهمة» اعتماداً على معلومات التدرج. حاول المؤلفون نقلها إلى المستوى الهيكلي، فواجهوا ثلاث عقبات:

• عدم اتساق التوزيعات: درجات الأهمية الصادرة عن طبقات مختلفة ذات مقاييس غير قابلة للمقارنة، والمتوسط المباشر يعطي نتيجة مشوّهة
• فقدان معلومات الإشارة: تدل إشارة الدرجة على ما إذا كان اتجاه تحديث الوزن يتوافق مع تدرج التحسين؛ ومعظم طرق التجميع تُفقد هذه الإشارة
• تأثير القيم الشاذة: القيم المتطرفة تهيمن على التجميع وتدفع إلى حذف بنى لا بحسب أهميتها الفعلية

كل مشكلة من هذه المشكلات تُضعف الجودة النهائية بمفردها، ومجتمعةً تجعل النقل المباشر لـ AFR غير قابل للعمل.

كيف يعمل الحل المقترح

اقترح المؤلفون ثلاث تقنيات تُطبَّق بالتتابع ضمن مخطط تجميع واحد.

التحويل الأُسّي يوحّد توزيعات الدرجات بطريقة غير خطية. فالتحجيم الخطي لا يتعامل جيداً مع الذيول الثقيلة المميزة لتنشيطات المحوّلات (transformers). أما الدالة الأُسّية ذات الأس القابل للضبط فتجعل الدرجات القادمة من مصادر مختلفة قابلة للمقارنة.

التجميع الحافظ للإشارات يدمج الدرجات المحوَّلة دون أن يفقد معلومات الاتجاه. فإذا حصل عصبون على درجة بإشارة معينة، تؤخذ هذه الإشارة في الحسبان عند اختيار المرشحين للحذف، بدلاً من الاكتفاء بمتوسط القيم المطلقة.

القصّ المئيني للقيم الشاذة يزيل القيم المتطرفة قبل التجميع. ويُحدَّد العتبة بالمئينات لا بأرقام مطلقة، ما يجعل الطريقة مستقرة عند تغيّر البنية أو المهمة.

النتائج على Llama وVicuna وLLaVA

اختُبرت الطريقة على ثلاثة نماذج مفتوحة من فئات مختلفة:

• Llama-3-8B — الدقة بعد التقليم الهيكلي مماثلة لنسخة AFR غير الهيكلية
• Vicuna-v1.5-13B — يحافظ نموذج المحادثة على جودة إجاباته مع انخفاض عدد المعاملات
• LLaVA-v1.5-13B — النموذج متعدد الوسائط أيضاً لم يُظهر تدهوراً ملحوظاً

يشدد المؤلفون على «practical inference speedup» أي التسريع العملي للاستدلال: تعمل النماذج المضغوطة بسرعة أكبر على وحدات GPU القياسية دون مكتبات خاصة بالمصفوفات المتناثرة. وهذا ما يجعل التقليم الهيكلي مطلوباً في عمليات النشر الإنتاجية، حيث تُحسب تكلفة الحوسبة بشكل مباشر.

ماذا يعني ذلك

يسدّ هذا العمل فجوة تقنية محددة: فتكييف مقاييس الأهمية غير الهيكلية مع التقليم الهيكلي كان يتطلب سابقاً تنازلاً في الدقة أو ضبطاً دقيقاً (fine-tuning) استعادياً مكلفاً. وتتيح الإصلاحات الثلاثة الموجّهة — توحيد التوزيعات، والحفاظ على الإشارات، وقصّ القيم الشاذة بالمئينات — الحفاظ على الدقة والحصول على تسريع فعلي في آن واحد، دون حيل لاحقة للتقليم.