Congelar el decodificador al comprimir la KV-cache da 3x de ahorro de memoria, pero no mejora la precisión

Los investigadores que publicaron el preprint arXiv 2610.10552 demuestran que la conclusión popular de que, al comprimir la KV-cache, basta con ajustar el codificador y congelar el decodificador, se apoyaba en un error metodológico. Con un learning rate común, la variante del codificador superaba a las alternativas con una significancia estadística aparente en varios seeds. Al ajustar un learning rate propio para cada variante, la diferencia desapareció. Lo que queda es lo que realmente se ha medido: tres veces menos parámetros entrenables y tres veces menos memoria para el estado del optimizador, con la misma calidad.

Cómo nace la ventaja aparente

El contexto es el siguiente. El posprocesado de un modelo ya entrenado para que use una caché comprimida funciona así: las matrices de keys y values se descomponen mediante SVD en dos factores. El primero, la down-projection, es lo que los autores llaman codificador. Comprime la representación en un espacio latente de bajo rango. El segundo, la up-projection, es el decodificador, que expande el latente de vuelta. El resultado es una caché en la línea de multi-head latent attention, pero sin entrenar desde cero. El truncamiento del rango deteriora la precisión, así que a continuación se aplica un ajuste fino corto, una «curación» (healing).

El error de la comparación está en lo siguiente. Las variantes de curación difieren mucho en el número de parámetros entrenables: solo el codificador, solo el decodificador o ambos factores. Si a todas se les asigna el mismo learning rate, este resulta adecuado para la variante más pequeña e inadecuado para las grandes. Según la descripción de los autores, las variantes grandes obtienen así una media más baja y una varianza más alta. El resultado es una ventaja grande y aparentemente reproducible para el conjunto más pequeño de parámetros. Detrás no hay un efecto real.

Qué se comprobó y qué resultó

El experimento principal se hizo con el modelo multimodal Qwen2.5-VL-3B-Instruct. Se ajustó el learning rate por separado para cada variante y se ejecutaron tres seeds por configuración. El resultado se reprodujo en un banco de pruebas de texto con dos modelos base distintos.

• Método: factorización SVD de los pesos key/value en codificador y decodificador, seguida de un ajuste fino corto.
• Variantes comparadas: curación solo del codificador, solo del decodificador y de ambos factores.
• Protocolo: selección individual del learning rate, tres seeds por configuración.
• Resultado en calidad: la variante del codificador alcanza un empate con las alternativas.
• Resultado en recursos: 3 veces menos parámetros entrenables y 3 veces menos memoria para el estado del optimizador.
• Limitación: la validación en VLM abarca un solo coeficiente de compresión.

La salvedad sobre el coeficiente de compresión figura en el propio resumen del artículo y no conviene pasarla por alto. El empate está confirmado en un único punto, y extrapolarlo a grados de compresión más agresivos sigue siendo una hipótesis. La réplica en modelos de texto aporta confianza, pero allí los modelos son pequeños y el trabajo no ofrece datos sobre escalas mayores.

Qué cambiar en la práctica

Para los equipos que migran modelos ya entrenados a una caché comprimida, la conclusión es práctica. Tiene sentido curar solo el codificador, pero por razones de ahorro: un decodificador congelado libera al optimizador de dos tercios de la carga en parámetros y memoria. Se nota cuando el ajuste fino corre en un número limitado de GPU y el modelo ya ocupa casi toda la memoria. No cabe esperar, en cambio, una mejora de precisión.

La segunda recomendación es más amplia y se aplica a cualquier comparación de recetas de fine-tuning, incluidos los esquemas tipo LoRA. Si las variantes tienen un número distinto de parámetros entrenables, un learning rate común no puede considerarse una condición neutral. Inclina el resultado, sin que se note, a favor de uno de los participantes. La higiene mínima consiste en hacer un sweep de learning rate independiente para cada variante y usar varios seeds. Así la variante pequeña no se lleva un mérito inmerecido y el equipo no pierde semanas intentando reproducir un efecto que no existe.

Si piensa aplicar el método con otro coeficiente de compresión, conviene volver a comprobar el empate con sus propios datos. Una ejecución adicional con el learning rate ajustado sale más barata que elegir mal la receta en producción.