OPTIC сжимает per-layer embeddings Gemma 4 E4B в 100 раз и сохраняет 97,8% качества

Исследователи из VILA-Lab показали, что таблицы per-layer embeddings (PLE) в Gemma 4 E4B можно сжать примерно в 100 раз и почти не потерять в качестве. Метод OPTIC удерживает 97,8% результата несжатой BF16-модели в сумме по семи бенчмаркам. Лучший из шести классических квантизаторов, product quantization, при той же степени сжатия даёт лишь 66,3%. Одновременно на видеокарте RTX 4090 расход памяти GPU падает на 29,7%, а время работы растёт не более чем на 0,40%.

Почему таблицы эмбеддингов стали отдельной проблемой

В языковых моделях всё заметнее тренд: ёмкость наращивают не только за счёт вычислений в трансформере, но и за счёт эмбеддингов. Per-layer embeddings в Gemma 4 — пример такого подхода. В версии E4B на них приходится 35,2% всех параметров. Это огромная доля, и она лежит в памяти, которой на устройстве почти всегда не хватает.

Отсюда задача: сохранить выигрыш от крупных эмбеддингов и при этом уложить модель в ограниченный бюджет развёртывания. На сжатии в 100 раз классические методы упираются в потолок. Они кодируют каждый вектор токен–слой независимо, и на один вектор остаётся порядка пяти байт. Такой крошечный код не может передать много информации. Кроме того, связь между слоями остаётся неиспользованной.

Один код на токен вместо отдельного кода на каждый слой

OPTIC (Output-Path-fitted, Token-shared Indexed Codes) устроен иначе. Для каждого токена хранится один квантованный кортеж кодов, общий для всех слоёв. На каждом слое его разворачивает собственный аффинный декодер, который восстанавливает вектор именно для этого слоя. Бюджет байт расходуется один раз на токен и делится между слоями.

Вторая часть идеи касается того, что именно подгонять. Коды и декодеры настраиваются не под сами сохранённые векторы, а под выходной путь PLE: вектор проходит через gate и output projection, и сжатие оценивают по результату после них. Целевая функция совпадает с тем, как модель реально использует эмбеддинги, поэтому точность не тратится на детали, которые на выходе не влияют.

Цифры из статьи

• PLE занимают 35,2% параметров Gemma 4 E4B.
• При сжатии около 100× на вектор токен–слой остаётся примерно пять байт.
• BF16 E4B при ~100×: OPTIC сохраняет 97,8% качества несжатой модели (агрегат по семи бенчмаркам). Product quantization, сильнейший из шести классических базовых методов, даёт 66,3%.
• При 594× OPTIC удерживает 90,5%.
• При 1002× OPTIC удерживает 84,1%.
• Официальный релиз E4B с 4-битными линейными весами и 16-битными активациями (W4A16): 96,9% при ~100× сжатии PLE.
• Инференс BF16 E4B из компактных кодов при ~100×: на 29,7% меньше памяти GPU при том же KV-кэше (1 GiB), замедление не больше 0,40%. Замер сделан на RTX 4090.

Работа с W4A16 стоит отдельного внимания. Квантизация весов бэкбона и сжатие PLE решают разные части задачи, и результат 96,9% показывает, что они складываются: OPTIC не требует выбирать одно из двух.

Кому и когда это пригодится

Главный практический вывод для тех, кто разворачивает Gemma 4 E4B на потребительском железе: PLE перестают быть неизбежной статьёй расходов памяти. Экономия 29,7% VRAM при том же KV-кэше означает либо запуск на карте поменьше, либо больше места под контекст. Замедление до 0,40% при этом практически незаметно.

Для разработчиков, которые собирают ИИ-продукты на устройствах, интересен и сам принцип. Если архитектуры будут и дальше наращивать долю эмбеддингов в параметрах, сжимать придётся именно их. Общий код на токен с декодерами под каждый слой, плюс подгонка под выходной путь, даёт рабочий шаблон для таких моделей.

Авторы (Jiacheng Liu, Yaxin Luo, Xiaohan Zhao, Peng Sun, Xinyi Shang, Jiacheng Cui, Yonina C. Eldar и Zhiqiang Shen) опубликовали код и разбор метода на GitHub в репозитории VILA-Lab/optic. Готовый артефакт со 100-кратным сжатием PLE доступен на Hugging Face под названием gemma-4-E4B-it-OPTIC-100x, так что результат можно проверить на собственных задачах. Препринт — arXiv 2610.31309.