Coral-KV сжимает KV-кэш видеомоделей на 37–48% и поднимает PSNR до 4,95 дБ

Длинное видео упирается не в вычисления, а в память. Авторегрессионные видеодиффузионные модели хранят внимание ко всем уже сгенерированным кадрам, и KV-кэш растёт вместе с роликом. Препринт Coral-KV на arXiv предлагает сжимать этот кэш иначе, чем нынешние методы. На MAGI-1 схема даёт +4,95 дБ PSNR относительно QVG-4 при расходе кэша на 37% ниже. На HY-WorldPlay выигрыш скромнее, +0,32 дБ, зато память сокращается на 48%.

Где ломается кластерная квантизация

До сих пор сильным подходом к сжатию видеокэша считалась квантизация на основе кластеризации. Похожие векторы ключей и значений группируют, а квантизуют только остаточные ошибки относительно центров групп. Бейзлайны из статьи, QVG-4 и QVG-Pro, относятся к этому семейству.

У метода есть слабое место, которое авторы называют прямо: поздние кадры обращаются к уже сжатой истории. Небольшая ошибка реконструкции в старом кэше попадает в новые кадры, те становятся частью истории, и погрешность копится по мере роста видео. Для коротких клипов это почти незаметно. В длинной генерации проявляется как деградация качества и временные разрывы.

Предсказание по слоям вместо кластеров внутри слоя

Кластеризация использует сходство внутри одного слоя. Авторы Coral-KV нашли, что в видеомоделях сильные зависимости есть и между слоями кэша. Отсюда идея: по состояниям кэша в одном слое предсказывать ключи и значения следующих слоёв, а квантизовать только остаток предсказания. Чем точнее предсказание, тем меньше остаток и тем меньше бит нужно на его хранение.

Предикторы сделаны компактными, в формате block-DPLR, блочно-диагональная матрица плюс низкоранговая добавка. Блочно-диагональная часть описывает связи между каналами внутри каждой головы внимания. Глобальный низкоранговый член отвечает за зависимости между головами. Такая структура сильно дешевле полной матрицы преобразования между слоями.

Название расшифровывается как Calibrated Offline, Residual-coded, Adapted Locally. Оно описывает два режима работы:

• переиспользуемая конфигурация: предикторы калибруются заранее и применяются к разным видео без доработки;
• адаптированная конфигурация: лёгкие блочно-диагональные предикторы пересобираются под текущее видео ради более высокой точности.

Цифры из статьи

• HY-WorldPlay, переиспользуемый режим против QVG-4: +0,32 дБ PSNR, кэш меньше на 48%.
• MAGI-1, переиспользуемый режим против QVG-4: +4,95 дБ PSNR, кэш меньше на 37%.
• MAGI-1, адаптированный режим против QVG-Pro: +3,77 дБ PSNR, кэш меньше на 33,7%.
• На длинной генерации метод сохраняет более высокую точность реконструкции и уменьшает временные разрывы.
• Задержка генерации остаётся сопоставимой с бейзлайнами. Конкретных цифр в аннотации нет.

Разброс между моделями заметен: на одной модели выигрыш по качеству почти символический, на другой огромный. Видимо, межслойная избыточность в MAGI-1 выражена сильнее, но по аннотации это только предположение.

Кому это пригодится

Для команд, которые запускают видеомодели с длинным контекстом, вывод такой. Память под KV-кэш можно сократить на треть и больше без потери качества, если использовать избыточность между слоями. Режим с переиспользуемыми предикторами подходит для сервиса, где видео много и подгонять предикторы под каждое некогда. Адаптированный режим имеет смысл там, где качество важнее, например в генерации длинных сцен или интерактивных миров, к которым относится HY-WorldPlay.

Оговорки такие. Это препринт первой версии, без рецензирования. Оценка идёт по PSNR, а он не всегда совпадает с восприятием качества видео. Код, цену калибровки и накладные расходы на предсказание в реальном сервинге ещё предстоит проверить. Если результаты воспроизведутся, сжатие кэша окажется одним из самых практичных способов удлинить генерируемые ролики на том же железе.