Заморозка декодера при сжатии KV-кэша даёт 3x экономии памяти, но не рост точности

Исследователи, опубликовавшие препринт arXiv 2610.10552, показали, что популярный вывод «при сжатии KV-кэша дообучать нужно только энкодер, декодер заморозить» держался на методологической ошибке. При общем learning rate энкодерный вариант обходил альтернативы с видимой статистической значимостью по нескольким сидам. После подбора собственного learning rate для каждого варианта разрыв пропал. Осталось то, что действительно измерено: втрое меньше обучаемых параметров и втрое меньше памяти под состояние оптимизатора при том же качестве.

Как рождается мнимое преимущество

Контекст такой. Постобработка готовой модели под сжатый кэш работает так: матрицы ключей и значений раскладывают через SVD на два множителя. Первый, down-projection, авторы называют энкодером. Он сжимает представление в низкоранговое латентное пространство. Второй, up-projection, они называют декодером. Он разворачивает латент обратно. Получается кэш в духе multi-head latent attention, только без обучения с нуля. Усечение ранга ломает точность, поэтому следом идёт короткое дообучение, «лечение» (healing).

В чём ошибка сравнения. Варианты лечения сильно различаются по числу обучаемых параметров: только энкодер, только декодер или оба множителя. Если всем задать один learning rate, он оказывается подходящим для самого маленького варианта и неудачным для больших. По описанию авторов, большие варианты при этом получают заниженное среднее и завышенную дисперсию. Выходит крупное, на вид воспроизводимое преимущество у самого малого набора параметров. Реального эффекта за ним нет.

Что проверили и что получилось

Главный эксперимент поставили на мультимодальной модели Qwen2.5-VL-3B-Instruct. Для каждого варианта отдельно настраивали learning rate и прогоняли по три сида на конфигурацию. Результат воспроизвели на текстовом стенде с двумя разными базовыми моделями.

• Метод: SVD-факторизация весов key/value в энкодер и декодер с последующим коротким дообучением.
• Сравниваемые варианты: лечение только энкодера, только декодера и обоих множителей.
• Протокол: индивидуальный подбор learning rate, три сида на конфигурацию.
• Результат по качеству: энкодерный вариант выходит на паритет с альтернативами.
• Результат по ресурсам: в 3 раза меньше обучаемых параметров и в 3 раза меньше памяти под состояние оптимизатора.
• Ограничение: проверка на VLM охватывает один коэффициент сжатия.

Оговорка про коэффициент сжатия стоит в самой аннотации, и пропускать её нельзя. Паритет подтверждён на одной точке, и перенос на более агрессивные степени сжатия остаётся гипотезой. Репликация на текстовых моделях добавляет уверенности, но модели там небольшие, и сведений о больших масштабах в работе нет.

Что менять в практике

Для команд, которые переводят уже обученные модели на сжатый кэш, вывод прикладной. Лечить только энкодер имеет смысл, но по соображениям экономии: замороженный декодер снимает с оптимизатора две трети нагрузки по параметрам и памяти. Это заметно, когда дообучение идёт на ограниченном числе GPU, а модель уже занимает почти всю память. Ждать при этом выигрыша в точности не надо.

Вторая рекомендация шире и относится к любому сравнению fine-tuning-рецептов, включая LoRA-подобные схемы. Если у вариантов разное число обучаемых параметров, общий learning rate нельзя считать нейтральным условием. Он незаметно смещает результат в пользу одного из участников. Минимальная гигиена: отдельный sweep по learning rate для каждого варианта и несколько сидов. Тогда мелкий вариант не получит незаслуженную славу, а команда не потратит недели на воспроизведение эффекта, которого нет.

Если вы собираетесь применять метод при другом коэффициенте сжатия, паритет стоит перепроверить на своих данных. Дополнительный прогон с настроенным learning rate обойдётся дешевле, чем неверный выбор рецепта в продакшене.