Coral-KV compresse le cache KV des modèles vidéo de 37–48% et gagne jusqu'à 4,95 dB de PSNR

Pour la vidéo longue, le goulot d'étranglement n'est pas le calcul, mais la mémoire. Les modèles de diffusion vidéo autorégressifs conservent l'attention sur toutes les images déjà générées, et le cache KV grossit avec la durée du clip. Le préprint Coral-KV, publié sur arXiv, propose de compresser ce cache autrement que les méthodes actuelles. Sur MAGI-1, le schéma apporte +4,95 dB de PSNR par rapport à QVG-4, avec un cache réduit de 37%. Sur HY-WorldPlay, le gain est plus modeste, +0,32 dB, mais la mémoire diminue de 48%.

Où la quantification par clustering atteint ses limites

Jusqu'ici, la quantification par clustering passait pour l'approche la plus solide de compression du cache vidéo. Elle regroupe les vecteurs de clés et de valeurs similaires, puis ne quantifie que les erreurs résiduelles par rapport aux centres des groupes. Les références de l'article, QVG-4 et QVG-Pro, appartiennent à cette famille.

Les auteurs pointent eux-mêmes un point faible : les images tardives s'appuient sur un historique déjà compressé. Une petite erreur de reconstruction dans l'ancien cache se propage aux nouvelles images, qui entrent à leur tour dans l'historique, et l'erreur s'accumule à mesure que la vidéo s'allonge. Sur des clips courts, c'est presque imperceptible. En génération longue, cela se traduit par une dégradation de la qualité et des ruptures temporelles.

Prédiction entre couches plutôt que clusters au sein d'une couche

Le clustering exploite la similarité à l'intérieur d'une même couche. Les auteurs de Coral-KV ont constaté que, dans les modèles vidéo, de fortes dépendances existent aussi entre les couches du cache. D'où l'idée : prédire les clés et les valeurs des couches suivantes à partir des états du cache d'une couche, puis ne quantifier que le résidu de la prédiction. Plus la prédiction est précise, plus le résidu est faible et moins il faut de bits pour le stocker.

Les prédicteurs sont compacts, au format block-DPLR : une matrice bloc-diagonale plus un complément de rang faible. La partie bloc-diagonale décrit les liens entre canaux à l'intérieur de chaque tête d'attention. Le terme global de rang faible capture les dépendances entre les têtes. Cette structure coûte bien moins cher qu'une matrice de transformation complète entre couches.

Le nom se déploie en Calibrated Offline, Residual-coded, Adapted Locally. Il renvoie aux deux modes de fonctionnement :

• configuration réutilisable : les prédicteurs sont calibrés à l'avance et appliqués à différentes vidéos sans retouche ;
• configuration adaptée : des prédicteurs bloc-diagonaux légers sont reconstruits pour la vidéo en cours, afin d'obtenir une meilleure précision.

Les chiffres de l'article

• HY-WorldPlay, mode réutilisable contre QVG-4 : +0,32 dB de PSNR, cache réduit de 48%.
• MAGI-1, mode réutilisable contre QVG-4 : +4,95 dB de PSNR, cache réduit de 37%.
• MAGI-1, mode adapté contre QVG-Pro : +3,77 dB de PSNR, cache réduit de 33,7%.
• En génération longue, la méthode conserve une meilleure précision de reconstruction et réduit les ruptures temporelles.
• La latence de génération reste comparable à celle des références. Le résumé ne donne pas de chiffres précis.

L'écart entre les modèles est net : sur l'un, le gain de qualité est presque symbolique ; sur l'autre, il est considérable. La redondance inter-couches est vraisemblablement plus marquée dans MAGI-1, mais d'après le résumé, il ne s'agit que d'une hypothèse.

À qui cela peut servir

Pour les équipes qui exploitent des modèles vidéo à long contexte, la conclusion est la suivante : la mémoire consacrée au cache KV peut être réduite d'un tiers, voire davantage, sans perte de qualité, à condition d'exploiter la redondance entre couches. Le mode à prédicteurs réutilisables convient à un service qui traite beaucoup de vidéos, où l'on n'a pas le temps d'ajuster les prédicteurs pour chacune. Le mode adapté a du sens quand la qualité prime, par exemple pour générer de longues scènes ou des mondes interactifs, catégorie à laquelle appartient HY-WorldPlay.

Quelques réserves. Il s'agit d'un préprint en première version, sans relecture par les pairs. L'évaluation repose sur le PSNR, qui ne coïncide pas toujours avec la qualité perçue de la vidéo. Le code, le coût de la calibration et la charge supplémentaire de la prédiction en serving réel restent à vérifier. Si les résultats se reproduisent, la compression du cache deviendrait l'un des moyens les plus concrets d'allonger les vidéos générées sur le même matériel.