Congelar o decoder na compressão do KV-cache economiza 3x de memória, mas não melhora a precisão

Os pesquisadores que publicaram o preprint arXiv 2610.10552 mostraram que uma conclusão popular — "ao comprimir o KV-cache, só é preciso ajustar o encoder e congelar o decoder" — se apoiava em uma falha metodológica. Com um learning rate comum, a variante só com encoder superava as alternativas, com aparente significância estatística em várias seeds. Depois que cada variante passou a ter o seu próprio learning rate ajustado, a diferença sumiu. Restou o que de fato foi medido: três vezes menos parâmetros treináveis e três vezes menos memória para o estado do otimizador, com a mesma qualidade.

Como nasce a vantagem ilusória

O contexto é este. Na adaptação de um modelo pronto para um cache comprimido, as matrizes de key e value são decompostas por SVD em dois fatores. O primeiro, a down-projection, os autores chamam de encoder. Ele comprime a representação para um espaço latente de baixo ranque. O segundo, a up-projection, é o decoder, que expande o latente de volta. O resultado é um cache no espírito do multi-head latent attention, mas sem treinamento do zero. O truncamento do ranque prejudica a precisão, e por isso vem em seguida um fine-tuning curto, a "cura" (healing).

O problema da comparação está aqui. As variantes de cura diferem muito no número de parâmetros treináveis: só o encoder, só o decoder ou os dois fatores. Se todas recebem o mesmo learning rate, ele acaba adequado à menor variante e inadequado às maiores. Segundo a descrição dos autores, as variantes maiores ficam com média subestimada e variância superestimada. O que aparece é uma vantagem grande e aparentemente reprodutível para o menor conjunto de parâmetros. Não há efeito real por trás disso.

O que foi testado e o que saiu

O experimento principal rodou no modelo multimodal Qwen2.5-VL-3B-Instruct. Para cada variante, o learning rate foi ajustado separadamente, com três seeds por configuração. O resultado foi reproduzido em uma bancada de texto com dois modelos-base diferentes.

• Método: fatoração SVD dos pesos de key/value em encoder e decoder, seguida de fine-tuning curto.
• Variantes comparadas: cura só do encoder, só do decoder e dos dois fatores.
• Protocolo: ajuste individual do learning rate, três seeds por configuração.
• Resultado em qualidade: a variante só com encoder empata com as alternativas.
• Resultado em recursos: 3 vezes menos parâmetros treináveis e 3 vezes menos memória para o estado do otimizador.
• Limitação: a verificação no VLM cobre um único fator de compressão.

A ressalva sobre o fator de compressão consta no próprio abstract e não deve ser ignorada. O empate foi confirmado em um único ponto, e a extensão para graus de compressão mais agressivos continua sendo uma hipótese. A replicação em modelos de texto dá mais confiança, mas os modelos ali são pequenos, e o trabalho não traz dados sobre escalas maiores.

O que mudar na prática

Para as equipes que convertem modelos já treinados para um cache comprimido, a conclusão é prática. Vale a pena curar só o encoder, mas por razões de economia: o decoder congelado tira do otimizador dois terços da carga de parâmetros e de memória. Isso pesa quando o fine-tuning roda em um número limitado de GPUs e o modelo já ocupa quase toda a memória. Não se deve esperar, porém, ganho de precisão.

A segunda recomendação é mais ampla e vale para qualquer comparação de receitas de fine-tuning, incluindo esquemas do tipo LoRA. Se as variantes têm números diferentes de parâmetros treináveis, o learning rate comum não pode ser tratado como condição neutra. Ele desloca o resultado, sem que se perceba, a favor de um dos participantes. A higiene mínima é fazer um sweep de learning rate separado para cada variante e usar várias seeds. Assim, a variante menor não ganha um mérito que não tem, e a equipe não gasta semanas tentando reproduzir um efeito que não existe.

Se você pretende aplicar o método com outro fator de compressão, vale reverificar o empate com os seus próprios dados. Uma rodada extra com o learning rate ajustado sai mais barata do que escolher a receita errada em produção.