تجميد وحدة فك الترميز عند ضغط KV-cache يوفر ذاكرة بمقدار 3x، لكنه لا يرفع الدقة

أظهر باحثون نشروا الورقة arXiv 2610.10552 أن الاستنتاج الشائع «عند ضغط KV-cache يكفي ضبط المشفّر وتجميد وحدة فك الترميز» قام على خطأ منهجي. فعند استخدام معدل تعلّم (learning rate) واحد للجميع، تفوّق خيار المشفّر على البدائل بدلالة إحصائية ظاهرة عبر عدة بذور عشوائية (seeds). وبعد ضبط معدل تعلّم مستقل لكل خيار، اختفت الفجوة. وما بقي هو ما جرى قياسه فعلًا: عدد المعاملات القابلة للتدريب أقل بثلاث مرات، والذاكرة المخصصة لحالة المُحسِّن أقل بثلاث مرات، مع الجودة نفسها.

كيف تنشأ الميزة الوهمية

السياق كالتالي: تقوم المعالجة اللاحقة لنموذج جاهز كي يعمل بكاش مضغوط على تفكيك مصفوفتي المفاتيح والقيم عبر SVD إلى عاملين. يسمي المؤلفون العامل الأول، أي down-projection، المشفّر. وهو يضغط التمثيل إلى فضاء كامن منخفض الرتبة. أما العامل الثاني، up-projection، فيسمونه وحدة فك الترميز، وهو يعيد توسيع الفضاء الكامن. والنتيجة كاش يشبه multi-head latent attention، لكن من دون تدريب من الصفر. ويُفقد اقتطاع الرتبة شيئًا من الدقة، لذا يلي ذلك ضبط دقيق قصير يُسمى «العلاج» (healing).

أما الخطأ في المقارنة فمصدره أن خيارات العلاج تختلف كثيرًا في عدد المعاملات القابلة للتدريب: المشفّر وحده، أو وحدة فك الترميز وحدها، أو العاملان معًا. وإذا فُرض معدل تعلّم واحد على الجميع، فإنه يناسب الخيار الأصغر ولا يناسب الخيارات الأكبر. وبحسب وصف المؤلفين، تحصل الخيارات الأكبر في هذه الحالة على متوسط أقل من الحقيقي وتباين أعلى منه. فتظهر أفضلية كبيرة، تبدو قابلة للتكرار، لأصغر مجموعة من المعاملات. ولا يقف خلف ذلك أي أثر حقيقي.

ما الذي جرى اختباره وما النتيجة

أُجريت التجربة الرئيسية على النموذج متعدد الوسائط Qwen2.5-VL-3B-Instruct. وضُبط معدل التعلّم لكل خيار على حدة، وشُغّلت ثلاث بذور عشوائية لكل إعداد. وأُعيد إنتاج النتيجة على منصة اختبار نصية بنموذجين أساسيين مختلفين.

• الطريقة: تفكيك أوزان key/value عبر SVD إلى مشفّر ووحدة فك ترميز، يليه ضبط دقيق قصير.
• الخيارات المقارَنة: علاج المشفّر وحده، أو وحدة فك الترميز وحدها، أو العاملين معًا.
• البروتوكول: ضبط فردي لمعدل التعلّم، وثلاث بذور عشوائية لكل إعداد.
• النتيجة من حيث الجودة: خيار المشفّر يبلغ التكافؤ مع البدائل.
• النتيجة من حيث الموارد: معاملات قابلة للتدريب أقل بـ 3 مرات، وذاكرة لحالة المُحسِّن أقل بـ 3 مرات.
• القيد: الاختبار على VLM يغطي معامل ضغط واحدًا فقط.

والتحفظ بشأن معامل الضغط وارد في ملخص الورقة نفسه، ولا يجوز إغفاله. فالتكافؤ مثبت عند نقطة واحدة، ويبقى تعميمه على درجات ضغط أشد فرضيةً. وتزيد إعادة الإنتاج على النماذج النصية من الثقة، لكن النماذج هناك صغيرة، ولا تتضمن الورقة معلومات عن المقاييس الأكبر.

ما الذي ينبغي تغييره في الممارسة

بالنسبة إلى الفرق التي تنقل نماذج مدرَّبة مسبقًا إلى كاش مضغوط، الخلاصة عملية. فعلاج المشفّر وحده خيار منطقي، لكن لأسباب توفير الموارد: إذ تخفف وحدة فك الترميز المجمَّدة عن المُحسِّن ثلثي العبء من حيث المعاملات والذاكرة. ويظهر هذا الأثر بوضوح حين يجري الضبط الدقيق على عدد محدود من وحدات GPU، وحين يشغل النموذج أصلًا معظم الذاكرة. وفي المقابل، لا ينبغي توقع مكسب في الدقة.

أما التوصية الثانية فأوسع، وتنطبق على أي مقارنة بين وصفات fine-tuning، بما فيها المخططات الشبيهة بـ LoRA. فإذا اختلف عدد المعاملات القابلة للتدريب بين الخيارات، لا يصح اعتبار معدل التعلّم المشترك شرطًا محايدًا. فهو يرجّح النتيجة بصمت لمصلحة أحد المشاركين. والحد الأدنى من الانضباط المنهجي: إجراء sweep مستقل لمعدل التعلّم لكل خيار، مع عدة بذور عشوائية. عندها لن ينال الخيار الأصغر سمعة لا يستحقها، ولن يهدر الفريق أسابيع في محاولة إعادة إنتاج أثر غير موجود.

وإذا كنتم تنوون تطبيق الطريقة عند معامل ضغط مختلف، فمن الأفضل إعادة التحقق من التكافؤ على بياناتكم. فتشغيل إضافي بمعدل تعلّم مضبوط أقل كلفة من اختيار وصفة خاطئة في بيئة الإنتاج.