Coral-KV يضغط KV-cache في نماذج الفيديو بنسبة 37–48% ويرفع PSNR بمقدار 4.95 ديسيبل

عقبة الفيديو الطويل ليست في الحوسبة، بل في الذاكرة. تحتفظ نماذج انتشار الفيديو ذاتية الانحدار بالانتباه إلى جميع الإطارات التي سبق توليدها، فينمو KV-cache مع طول المقطع. يقترح البحث الأولي Coral-KV على arXiv ضغط هذا الـ cache بطريقة تختلف عن الأساليب الحالية. على MAGI-1 يحقق الأسلوب +4.95 ديسيبل في PSNR مقارنة بـ QVG-4، مع استهلاك cache أقل بنسبة 37%. وعلى HY-WorldPlay يكون المكسب أقل، +0.32 ديسيبل، لكن الذاكرة تنخفض بنسبة 48%.

أين يتعثر التكميم القائم على التجميع

كان التكميم القائم على التجميع (clustering) حتى الآن يُعدّ نهجًا قويًا لضغط cache الفيديو. تُجمَّع متجهات المفاتيح والقيم المتشابهة، ولا تُكمَّم إلا الأخطاء المتبقية قياسًا إلى مراكز المجموعات. وخطا الأساس الواردان في الورقة، QVG-4 وQVG-Pro، ينتميان إلى هذه العائلة.

لهذه الطريقة نقطة ضعف يذكرها المؤلفون صراحةً: الإطارات اللاحقة تعتمد على تاريخ مضغوط أصلًا. فالخطأ الصغير في إعادة بناء الـ cache القديم ينتقل إلى الإطارات الجديدة، التي تصبح بدورها جزءًا من التاريخ، فيتراكم الخطأ مع طول الفيديو. في المقاطع القصيرة يكاد هذا لا يُلحظ. أما في التوليد الطويل فيظهر على شكل تدهور في الجودة وانقطاعات زمنية.

التنبؤ بين الطبقات بدلًا من التجميع داخل الطبقة

يستفيد التجميع من التشابه داخل طبقة واحدة. أما مؤلفو Coral-KV فوجدوا أن في نماذج الفيديو اعتماديات قوية بين طبقات الـ cache أيضًا. ومن هنا جاءت الفكرة: التنبؤ بمفاتيح الطبقات التالية وقيمها انطلاقًا من حالات الـ cache في طبقة واحدة، ثم تكميم باقي التنبؤ فقط. وكلما كان التنبؤ أدق صغر الباقي، وقلّ عدد البتات اللازمة لتخزينه.

صُمّمت المُنبِّئات بحيث تكون مدمجة، بصيغة block-DPLR: مصفوفة قطرية الكتل مضافًا إليها حدّ منخفض الرتبة. يصف الجزء القطري الكتلي الروابط بين القنوات داخل كل رأس انتباه، بينما يتولى الحد العام منخفض الرتبة الاعتماديات بين الرؤوس. وهذه البنية أقل كلفة بكثير من مصفوفة تحويل كاملة بين الطبقات.

يُفكّ اسم الطريقة إلى Calibrated Offline, Residual-coded, Adapted Locally. وهو يصف نمطي عمل:

• التكوين القابل لإعادة الاستخدام: تُعايَر المُنبِّئات مسبقًا وتُطبَّق على فيديوهات مختلفة دون تعديل؛
• التكوين المكيَّف: تُعاد صياغة مُنبِّئات خفيفة قطرية الكتل لتلائم الفيديو الحالي بغرض رفع الدقة.

أرقام من الورقة

• HY-WorldPlay، النمط القابل لإعادة الاستخدام مقابل QVG-4: +0.32 ديسيبل في PSNR، وcache أقل بنسبة 48%.
• MAGI-1، النمط القابل لإعادة الاستخدام مقابل QVG-4: +4.95 ديسيبل في PSNR، وcache أقل بنسبة 37%.
• MAGI-1، النمط المكيَّف مقابل QVG-Pro: +3.77 ديسيبل في PSNR، وcache أقل بنسبة 33.7%.
• في التوليد الطويل يحافظ الأسلوب على دقة أعلى في إعادة البناء ويقلّل الانقطاعات الزمنية.
• يبقى زمن التوليد قريبًا من خطوط الأساس. ولا توجد أرقام محددة في الملخص (annotation).

التفاوت بين النماذج لافت: في أحد النموذجين يكاد المكسب في الجودة يكون رمزيًا، وفي الآخر ضخم. يبدو أن التكرار بين الطبقات في MAGI-1 أوضح، لكن هذا مجرد افتراض بحسب الملخص.

لمن يفيد هذا

بالنسبة إلى الفرق التي تشغّل نماذج فيديو بسياق طويل، الخلاصة هي التالية: يمكن خفض الذاكرة المخصصة لـ KV-cache بمقدار الثلث أو أكثر دون خسارة في الجودة، إذا جرى استغلال التكرار بين الطبقات. ويناسب نمط المُنبِّئات القابلة لإعادة الاستخدام خدمةً تعالج فيديوهات كثيرة ولا يتسع وقتها لتكييف المُنبِّئات مع كل فيديو. أما النمط المكيَّف فله معنى حيث تتقدم الجودة على غيرها، مثل توليد المشاهد الطويلة أو العوالم التفاعلية، التي ينتمي إليها HY-WorldPlay.

وهنا التحفظات. هذا بحث أولي في نسخته الأولى ولم يخضع لمراجعة الأقران. والتقييم يعتمد على PSNR، وهو لا يتطابق دائمًا مع الجودة المُدرَكة للفيديو. أما الشيفرة وكلفة المعايرة والتكاليف الإضافية للتنبؤ في الخدمة (serving) الفعلية، فلا تزال بحاجة إلى التحقق. وإذا أمكن تكرار النتائج، فسيكون ضغط الـ cache من أكثر الطرق عملية لإطالة المقاطع المولَّدة على العتاد نفسه.