PACE يضغط حالة نماذج LLM الخطية إلى 4 بتات ويوفّر ثلث الذاكرة

اقترح فريق من الباحثين PACE، وهو مُكمِّم لما بعد التدريب يخزّن الحالة المتكررة في نماذج الانتباه الخطي (linear attention) بأربع بتات، ولا يتطلب إعادة تدريب. على أربعة نماذج هجينة يتراوح حجمها بين 4B و35B من المعاملات، تضاهي النسخة ذات الرؤوس المختلطة (4 و8 بتات) أداء DAMP بثماني بتات على ثلاثة من النماذج الكبيرة، مع شغل نحو ثلثي ذاكرته. أما النسخة التي تعتمد أربع بتات في جميع الرؤوس، فتحقق عند تساوي حجم الذاكرة نتائج أفضل من Q-Mamba.

لماذا تصبح الحالة عنق زجاجة

في النماذج ذات الانتباه الخطي لا يعيش السياق في KV-cache متنامٍ، بل في حالة متكررة ثابتة الحجم. قد يبدو ذلك مريحًا. لكن نظام الاستدلال مضطر إلى الاحتفاظ بنسخة مستقلة من هذه الحالة لكل تسلسل يفك ترميزه في وقت واحد. وكلما زاد عدد النسخ التي تتسع لها ذاكرة المسرّع، زاد عدد الطلبات التي تُخدَم بالتوازي، وانخفضت كلفة كل رمز.

ومن هنا جاء الاهتمام بتكميم الحالة نفسها. فالطرق القائمة تقرّب الحالة بعد كل رمز يُولَّد. ونتيجة لذلك يتراكم خطأ التقريب خطوة بعد خطوة، وتتراجع الدقة بوضوح عند أربع بتات. وخلصت الأعمال السابقة إلى نتيجة واحدة: إما أن ترفع دقة التمثيل، وإما أن تعيد تدريب النموذج ليتكيّف مع التكميم. ويُظهر PACE أن هناك طريقًا ثالثًا.

ملاحظتان يقوم عليهما PACE

تتعلق الأولى بتكرار التقريب. يقرّب PACE الحالة مرة واحدة فقط كل عدة رموز، ويحتفظ بالرموز الوسيطة في مخزن مؤقت صغير. وتعمل نوى chunked في مرحلة prefill بطريقة مشابهة، إذ تحدّث الحالة مرة لكل مقطع (chunk) لا عند كل رمز. وقلة عمليات التقريب تعني خطأً متراكمًا أقل.

وتتعلق الثانية ببنية الحالة نفسها في طبقات gated-delta. فالقيم الكبيرة هناك ليست موزعة بالتساوي، بل تتجمع في أعمدة. والسبب أن بعض قنوات التحديث، الذي يُكتب عند كل رمز، تظل كبيرة على امتداد رموز كثيرة. لذلك يستخدم PACE مقياس تكميم مشتركًا لعمود كامل. وبهذا لا يُفسد إدخال واحد كبير دقة بقية القيم التي كانت مضطرة إلى مشاركته المقياس.

أما التفصيل الثالث فهو الدقة المختلطة. فبعض الرؤوس تحتفظ بخطأ التقريب مدة أطول من غيرها. ويُبقي PACE هذه الرؤوس تحديدًا بثماني بتات، ويحوّل البقية إلى أربع بتات.

• الطريقة: لما بعد التدريب، دون إعادة تدريب النموذج
• الصيغة المستهدفة: أربع بتات لكل عنصر من عناصر الحالة، وثمانٍ للرؤوس الأطول «بقاءً للخطأ»
• التقريب: مرة كل عدة رموز، وتُخزَّن الرموز الوسيطة في مخزن مؤقت
• مقياس التكميم: مشترك على مستوى عمود الحالة
• التقييم: أربعة نماذج هجينة بين 4B و35B من المعاملات

ماذا أظهرت القياسات

جاء PACE المختلط (رؤوس بأربع وثماني بتات) على مستوى DAMP بثماني بتات في ثلاثة من أصل أربعة نماذج، وهي الأكبر حجمًا. وبلغت الذاكرة المستخدمة نحو ثلثي ما يستخدمه DAMP. أما النسخة ذات الأربع بتات الخالصة فتتفوق على Q-Mamba في المقارنة عند تساوي حجم الذاكرة. ويشير المؤلفون بصورة منفصلة إلى أن التقريب مرة كل عدة رموز يحافظ على تسريع فك الترميز الذي يوفره المخزن المؤقت، أي أن توفير الذاكرة لا يُدفع ثمنه من السرعة.

وهذه النقطة الأخيرة مهمة عمليًا. فتكميم الحالة الذي يضيف عملية تقريب عند كل خطوة قد يلتهم مكسب زيادة حجم الدفعة (batch). أما هنا فقد أُخرج التقريب من الحلقة الساخنة، وبذلك يقل هذا الخطر.

أين يفيد ذلك في البنية التحتية

تظهر المعماريات الهجينة، التي تتناوب فيها الطبقات الخطية مع الانتباه التقليدي، بوتيرة متزايدة في النماذج المفتوحة والتجارية. وبالنسبة إلى من يشغّلون هذه النماذج، يتيح PACE وسيلة واضحة: خفض الذاكرة المخصصة للحالة بنحو الثلث مقارنة بمخطط الثماني بتات، دون إعادة تدريب ودون تدريب إضافي. ويمكن تخصيص المساحة المحررة لدفعة أكبر أو لطابور أطول من الجلسات المتزامنة.

ولكن هناك قيودًا. فقد تأكدت النتيجة على أربعة نماذج هجينة فقط، وفي أصغرها لم يبلغ PACE المختلط مستوى DAMP. وعلى الفرق التي تخطط للتطبيق أن تتحقق من سلوك الطريقة على نموذجها وحمل العمل لديها قبل إعادة بناء بيئة الإنتاج حول حالة بأربع بتات. غير أن الفكرة نفسها، أي التقريب بوتيرة أقل وملاءمة المقياس لبنية البيانات الفعلية، تبدو قابلة للنقل وقليلة الكلفة في التنفيذ.