Coral-KV comprime o KV-cache de modelos de vídeo em 37–48% e eleva o PSNR em até 4,95 dB

O gargalo do vídeo longo não está no cálculo, e sim na memória. Os modelos autorregressivos de difusão de vídeo guardam a atenção a todos os quadros já gerados, e o KV-cache cresce junto com o vídeo. O preprint do Coral-KV no arXiv propõe comprimir esse cache de um jeito diferente dos métodos atuais. No MAGI-1, o esquema entrega +4,95 dB de PSNR em relação ao QVG-4, com um consumo de cache 37% menor. No HY-WorldPlay, o ganho é mais modesto, +0,32 dB, mas a memória cai 48%.

Onde a quantização por clusters falha

Até agora, a quantização baseada em clusterização era considerada uma abordagem forte para comprimir o cache de vídeo. Vetores semelhantes de chaves e valores são agrupados, e só os erros residuais em relação aos centros dos grupos são quantizados. Os baselines do artigo, QVG-4 e QVG-Pro, pertencem a essa família.

O método tem um ponto fraco que os próprios autores apontam sem rodeios: os quadros posteriores consultam um histórico que já está comprimido. Um pequeno erro de reconstrução no cache antigo passa para os quadros novos, que por sua vez entram no histórico, e o erro se acumula à medida que o vídeo cresce. Em clipes curtos, isso quase não aparece. Na geração longa, surge como degradação de qualidade e rupturas temporais.

Previsão entre camadas em vez de clusters dentro da camada

A clusterização explora a similaridade dentro de uma única camada. Os autores do Coral-KV constataram que, em modelos de vídeo, também há dependências fortes entre as camadas do cache. Daí vem a ideia: usar os estados do cache em uma camada para prever as chaves e os valores das camadas seguintes e quantizar apenas o resíduo da previsão. Quanto mais precisa a previsão, menor o resíduo e menos bits são necessários para armazená-lo.

Os preditores são compactos e usam o formato block-DPLR: uma matriz bloco-diagonal somada a uma correção de baixo posto. A parte bloco-diagonal descreve as relações entre canais dentro de cada cabeça de atenção. O termo global de baixo posto cuida das dependências entre as cabeças. Essa estrutura é muito mais barata do que uma matriz completa de transformação entre camadas.

O nome é a sigla de Calibrated Offline, Residual-coded, Adapted Locally. Ele descreve os dois modos de operação:

• configuração reutilizável: os preditores são calibrados antecipadamente e aplicados a vídeos diferentes, sem ajuste adicional;
• configuração adaptada: preditores bloco-diagonais leves são recalculados para o vídeo em questão, em busca de maior precisão.

Os números do artigo

• HY-WorldPlay, modo reutilizável contra o QVG-4: +0,32 dB de PSNR, cache 48% menor.
• MAGI-1, modo reutilizável contra o QVG-4: +4,95 dB de PSNR, cache 37% menor.
• MAGI-1, modo adaptado contra o QVG-Pro: +3,77 dB de PSNR, cache 33,7% menor.
• Na geração longa, o método mantém maior precisão de reconstrução e reduz as rupturas temporais.
• A latência de geração continua comparável à dos baselines. O resumo do artigo não traz números concretos.

A diferença entre os modelos chama atenção: em um, o ganho de qualidade é quase simbólico; em outro, é enorme. Pelo visto, a redundância entre camadas é mais pronunciada no MAGI-1, mas, segundo o resumo, isso é apenas uma suposição.

A quem isso interessa

Para equipes que rodam modelos de vídeo com contexto longo, a conclusão é esta: dá para reduzir a memória do KV-cache em um terço ou mais sem perda de qualidade, desde que se aproveite a redundância entre camadas. O modo com preditores reutilizáveis serve a um serviço com muitos vídeos, em que não há tempo para ajustar preditores a cada um. O modo adaptado faz sentido quando a qualidade pesa mais, como na geração de cenas longas ou de mundos interativos, categoria à qual pertence o HY-WorldPlay.

Há ressalvas. Trata-se de um preprint em primeira versão, sem revisão por pares. A avaliação usa o PSNR, que nem sempre coincide com a qualidade percebida do vídeo. O código, o custo da calibração e a sobrecarga da previsão em serving real ainda precisam ser verificados. Se os resultados forem reproduzidos, a compressão de cache pode se tornar uma das formas mais práticas de alongar os vídeos gerados no mesmo hardware.