تقليص هيكلي للنماذج اللغوية الكبيرة بدون فقدان الدقة: تم التحقق من الطريقة على Llama-3-8B و Vicuna

في يوليو 2026، تم نشر طريقة جديدة لقطع البنية (pruning) من نماذج اللغة الكبيرة على arXiv: وصف الباحثون ثلاث مشاكل منهجية عند نقل تقنية AFR إلى قطع البنية واقترحوا منهجاً موحداً يجمع بين تحويل القوة والتجميع الذي يحافظ على الإشارات وقطع النسبة المئوية للقيم الشاذة. أظهرت التجارب على Llama-3-8B و Vicuna-v1.5-13B و LLaVA-v1.5-13B دقة تعادل القطع غير البنيوي مع تحقيق تسريع استدلال حقيقي.

لماذا قطع البنية أفضل للنشر

القطع هو أحد الطرق الأساسية لضغط الشبكات العصبية: يتم إزالة المعاملات غير المهمة، ويصبح النموذج أصغر وأسرع. هناك منهجان مختلفان بشكل أساسي.

قطع غير البنيوي يُلغي الأوزان الفردية، مما ينتج عنه مصفوفات متناثرة. تعاني الدقة أقل، لكن هذا يوفر تسريعاً عملياً قليلاً على وحدات معالجة الرسومات القياسية — يلزم وجود نوى متخصصة أو أجهزة غير متاحة لمعظم الفرق.

قطع البنية يزيل الخلايا العصبية بالكامل أو رؤوس الانتباه أو الطبقات. يعمل النموذج الناتج ذو الكثافة القياسية بشكل أسرع على الأجهزة العادية دون حيل إضافية. المشكلة هي أن الجودة تقليدياً كانت أقل من الطرق غير البنيوية. قام مؤلفو هذه الورقة بمعالجة هذه الفجوة بالضبط.

ثلاث مشاكل في تكييف AFR

AFR (الاحتفاظ بالميزات التكيفية) هي طريقة غير بنيوية تحافظ على الأوزان "المهمة" مع الأخذ في الاعتبار معلومات التدرج. حاول المؤلفون نقله إلى المستوى البنيوي وواجهوا ثلاث عقبات:

• عدم توافق التوزيع: تقديرات الأهمية من طبقات مختلفة لها مقاييس غير قابلة للمقارنة — المتوسط المباشر يعطي نتائج مشوهة
• فقدان معلومات الإشارة: توضح إشارة التقدير ما إذا كان اتجاه تحديث الوزن يتطابق مع تدرج التحسين؛ تفقد معظم طرق التجميع هذه الإشارة
• تأثير القيم الشاذة: تهيمن القيم الشديدة على التجميع وتفرض حذف الهياكل بناءً على الأهمية الفعلية

كل واحدة من هذه المشاكل بشكل فردي تقلل الجودة النهائية؛ معاً تجعل النقل المباشر لـ AFR غير عملي.

كيف يعمل الحل المقترح

اقترح المؤلفون ثلاث تقنيات يتم تطبيقها بالتسلسل في مخطط تجميع موحد.

تحويل القوة يساوي توزيعات التقديرات بطريقة غير خطية. يتعامل الحجم الخطي بشكل سيء مع الذيول الثقيلة المميزة لتنشيط المحول. دالة القوة ذات الأس القابل للضبط تجعل التقديرات من مصادر مختلفة قابلة للمقارنة.

التجميع الذي يحافظ على الإشارات يجمع بين التقديرات المحولة دون فقدان المعلومات الاتجاهية. إذا تلقت خلية عصبية تقديراً بإشارة معينة، يتم أخذ ذلك في الاعتبار عند اختيار المرشحين للحذف — بدلاً من مجرد حساب متوسط القيم المطلقة.

قطع النسبة المئوية للقيم الشاذة يزيل القيم القصوى قبل التجميع. يتم تعيين الحد في النسب المئوية وليس الأرقام المطلقة، مما يجعل الطريقة قوية ضد تغييرات البنية أو المهمة.

النتائج على Llama و Vicuna و LLaVA

تم اختبار الطريقة على ثلاث نماذج مفتوحة من فئات مختلفة:

• Llama-3-8B — الدقة بعد قطع البنية قابلة للمقارنة مع نسخة AFR غير البنيوية
• Vicuna-v1.5-13B — يحافظ نموذج الحوار على جودة الإجابات مع تقليل عدد المعاملات
• LLaVA-v1.5-13B — لم يُظهر النموذج متعدد الأنماط أيضاً أي تدهور كبير

يؤكد المؤلفون على "تسريع استدلال عملي": تعمل النماذج المضغوطة بشكل أسرع على وحدات معالجة الرسومات القياسية دون مكتبات خاصة للمصفوفات المتناثرة. هذا ما يجعل قطع البنية مرغوباً فيه للنشر في الإنتاج، حيث يتم حساب تكاليف الحساب مباشرة.

ماذا يعني هذا

يغلق العمل فجوة تقنية محددة: تكييف مقاييس الأهمية غير البنيوية مع قطع البنية يتطلب سابقاً التنازل عن الدقة أو ضبط دقيق باهظ الثمن بعد القطع. تصحيحات موجهة ثلاثة — معادلة التوزيع والحفاظ على الإشارات وإزالة القيم الشاذة بالنسبة المئوية — تسمح بالحفاظ المتزامن على الدقة والتسريع الحقيقي دون حيل بعد القطع.