Kronecker Product Attention يضغط KV-cache حتى 10 مرات ويلحق بـ MLA في الجودة

أصبحت ذاكرة KV-cache منذ وقت طويل القيد الرئيسي على التوليد ذاتي الانحدار، فهي تنمو خطيًا مع طول السياق وحجم الدفعة وعمق النموذج. ويقترح مقترح بحثي جديد (preprint) على arXiv آلية Kronecker Product Attention (KPA) التي تضغط هذه الذاكرة، بحسب المؤلفين، حتى 10 مرات دون أن تتراجع في الجودة أمام MHA وMQA وGQA وMLA وTPA. وأُجريت المقارنة على أربعة أحجام من النماذج وتسعة معايير تقييم لاحقة (downstream) في ظروف تدريب متماثلة.

كيف تعمل KPA

الفكرة الرئيسية أن المفاتيح والقيم لا تُخزَّن كاملة، بل تُفكَّك إلى مجموع من حواصل ضرب كرونيكر لعوامل مصفوفية مدمجة. وتعتمد هذه العوامل على التوكن نفسه، أي تُحسب من المدخل ولا تُثبَّت في الأوزان. ولا يبقى في الذاكرة المؤقتة سوى هذه العوامل، بينما تُستعاد المصفوفات الكاملة عند حساب الانتباه.

ولكل من الأساليب الحالية مقايضاته. تُوفّر MQA وGQA الذاكرة بدمج الرؤوس، لكنهما تخسران في القدرة التعبيرية. أما MLA فتضغط الذاكرة المؤقتة عبر تمثيل كامن، لكنها تحتاج إلى فرع «منفصل» (decoupled) للترميز الموضعي RoPE. وتعتمد TPA على التحليل إلى عوامل عبر الضرب الخارجي للمتجهات، أي ببنية صارمة من الرتبة واحد. وتعمّم KPA آلية TPA تعميمًا صارمًا، بحسب المؤلفين: فالضرب الخارجي للمتجهات يظهر فيها حالةً منحلّة من تقسيم كرونيكر، بينما تستطيع العوامل المصفوفية غير المنحلّة وصف أنماط كتلية أغنى.

وتتعلق نتيجة تقنية منفصلة بالمواضع. فقد أدخل المؤلفون مُشغِّل دوران مهيكلًا متوافقًا مع تمثيل كرونيكر. ويحافظ هذا المُشغِّل على خاصية الموضع النسبي في RoPE، لكنه يدوّر العوامل المدمجة وحدها. ولذلك لا يلزم فرع إضافي للترميز الموضعي كما في MLA.

ما الذي تعلنه الورقة

• ضغط KV-cache: حتى 10x.
• المقارنة مع MHA وMQA وGQA وMLA وTPA: نتائج مماثلة أو أفضل.
• النطاق: أربعة أحجام من النماذج، وتسعة معايير تقييم لاحقة (downstream).
• الظروف: تدريب متطابق لجميع البنى.
• الترميز الموضعي: مُشغِّل متوافق مع RoPE يعمل على العوامل المدمجة، دون فرع منفصل.
• الضبط: «تقسيم كرونيكر للرؤوس» (Kronecker head split) يُحدَّد كمعامل فائق (hyperparameter).

والبند الأخير ربما يكون الأكثر عملية. فهذا التقسيم يحدد المقايضة بين درجة الضغط والدقة، ويمكن تغييره في مرحلة التصميم دون تغيير البنية. ولا يحتاج الفريق إلى إعادة كتابة النموذج للانتقال من ضغط أخف إلى ضغط أشد. يكفي إعادة التدريب بقيمة مختلفة.

ما الذي ينبغي أن يفعله المهندسون وأين يجب الحذر

هذه الورقة حتى الآن مسودة بحثية بإصدارها v1 ولم يتحقق منها أي طرف مستقل. ولم يُذكر في الملخص حجم النماذج المحدد، ولا أطوال السياق، ولا سرعة فك الترميز على عتاد حقيقي. والمكسب في الذاكرة لا يساوي دائمًا مكسبًا في زمن الاستجابة: فاستعادة المفاتيح والقيم من العوامل تضيف عمليات حسابية، وتكلفتها تعتمد على النوى (kernels) ووحدة GPU. أما رقم «حتى 10x» المعلن فيخص أفضل الأوضاع، وسيتضح من النص الكامل والشيفرة، إن نشرها المؤلفون، في أي إعداد يتحقق وبأي ثمن في الجودة.

وينبغي للفرق التي تبني استدلالًا (inference) للسياق الطويل أو تخدم دفعات كبيرة أن تُبقي KPA ضمن قائمة المرشّحين إلى جانب MLA. وهناك ثلاثة أمور يجب فحصها: مقدار الذاكرة التي تتحرر عند أطوال السياق لديكم، وسلوك الجودة مع تقسيمات مختلفة، والإنتاجية الفعلية مع نوى الانتباه لديكم. أما من درّب نموذجًا بالفعل على GQA أو MLA، فسيتطلب الانتقال منه إعادة تدريب، ولذلك من المنطقي إدراج KPA في دورة pre-training التالية بدلًا من محاولة استبدال الآلية في أوزان جاهزة.