Coral-KV comprime el KV-cache de los modelos de vídeo entre un 37% y un 48% y mejora el PSNR hasta 4,95 dB

El cuello de botella del vídeo largo no es el cómputo, sino la memoria. Los modelos autorregresivos de difusión de vídeo guardan la atención sobre todos los fotogramas ya generados, de modo que el KV-cache crece con la duración del clip. El preprint de Coral-KV en arXiv propone comprimir ese caché de una forma distinta a la de los métodos actuales. En MAGI-1, el esquema suma 4,95 dB de PSNR respecto a QVG-4 con un consumo de caché un 37% menor. En HY-WorldPlay la mejora es más modesta, de 0,32 dB, pero la memoria se reduce un 48%.

Dónde falla la cuantización por clústeres

Hasta ahora, el enfoque más sólido para comprimir el caché de vídeo era la cuantización basada en clustering. Se agrupan los vectores similares de claves y valores y solo se cuantizan los errores residuales respecto a los centros de cada grupo. Las líneas base del artículo, QVG-4 y QVG-Pro, pertenecen a esta familia.

El método tiene un punto débil que los autores señalan sin rodeos: los fotogramas tardíos consultan un historial que ya está comprimido. Un pequeño error de reconstrucción en el caché antiguo pasa a los fotogramas nuevos, estos se incorporan al historial y el error se acumula a medida que el vídeo crece. En clips cortos apenas se nota. En una generación larga se manifiesta como degradación de la calidad y saltos temporales.

Predicción entre capas en lugar de clústeres dentro de una capa

El clustering aprovecha la similitud dentro de una misma capa. Los autores de Coral-KV observaron que en los modelos de vídeo también existen dependencias fuertes entre las capas del caché. De ahí la idea: a partir de los estados del caché en una capa, predecir las claves y los valores de las capas siguientes y cuantizar solo el residuo de la predicción. Cuanto más precisa es la predicción, menor es el residuo y menos bits hacen falta para almacenarlo.

Los predictores son compactos y usan el formato block-DPLR: una matriz diagonal por bloques más una corrección de rango bajo. La parte diagonal por bloques describe las relaciones entre canales dentro de cada cabeza de atención. El término global de rango bajo recoge las dependencias entre cabezas. Esta estructura es mucho más barata que una matriz de transformación completa entre capas.

El nombre se desglosa como Calibrated Offline, Residual-coded, Adapted Locally. Describe los dos modos de funcionamiento:

• configuración reutilizable: los predictores se calibran de antemano y se aplican a distintos vídeos sin ajustes adicionales;
• configuración adaptada: los predictores ligeros diagonales por bloques se reconstruyen para el vídeo en curso con el fin de lograr mayor precisión.

Las cifras del artículo

• HY-WorldPlay, modo reutilizable frente a QVG-4: +0,32 dB de PSNR, caché un 48% menor.
• MAGI-1, modo reutilizable frente a QVG-4: +4,95 dB de PSNR, caché un 37% menor.
• MAGI-1, modo adaptado frente a QVG-Pro: +3,77 dB de PSNR, caché un 33,7% menor.
• En generación larga, el método conserva una mayor precisión de reconstrucción y reduce los saltos temporales.
• La latencia de generación sigue siendo comparable a la de las líneas base. El resumen del artículo no da cifras concretas.

La diferencia entre modelos es notable: en uno la mejora de calidad es casi simbólica y en otro es enorme. Es posible que la redundancia entre capas sea más pronunciada en MAGI-1, pero según el resumen del artículo esto es solo una suposición.

A quién le interesa

Para los equipos que ejecutan modelos de vídeo con contexto largo, la conclusión es la siguiente: la memoria del KV-cache se puede reducir en un tercio o más sin pérdida de calidad si se aprovecha la redundancia entre capas. El modo con predictores reutilizables encaja en un servicio con mucho vídeo, donde no hay tiempo para ajustar predictores a cada clip. El modo adaptado tiene sentido cuando la calidad pesa más, por ejemplo en la generación de escenas largas o de mundos interactivos, categoría a la que pertenece HY-WorldPlay.

Hay varias salvedades. Se trata de un preprint en su primera versión, sin revisión por pares. La evaluación se basa en PSNR, que no siempre coincide con la calidad percibida del vídeo. Aún falta comprobar el código, el coste de la calibración y la sobrecarga de la predicción en un despliegue real. Si los resultados se reproducen, la compresión del caché será una de las vías más prácticas para alargar los vídeos generados con el mismo hardware.