Веса LLM заменяют рецептом: как 16 ГБ матриц пытаются свернуть в формулы

Модель на 8 млрд параметров в fp16 весит около 16 ГБ: восемь миллиардов чисел по два байта каждое. Версия на 70 млрд уже тянет на 140 ГБ. Квантизация до 4 бит ужимает 8B-модель примерно до 4–5 ГБ, но это всё ещё те же матрицы, только с урезанной точностью. Habr AI опубликовал разбор более радикальной идеи: хранить не сами веса, а небольшой рецепт, по которому их можно вычислить.

В анонсе материала речь о нескольких семействах таких методов. Подробности реализаций и бенчмарки есть только в полной статье автора, поэтому ниже описаны сами подходы и их известные ограничения.

Сеть, которая рисует сеть

Самый известный вариант — гиперсети. Идею описали в работе HyperNetworks 2016 года: маленькая сеть получает на вход, например, номер слоя и обучаемый вектор, а на выходе выдаёт веса большой сети. Хранить нужно только генератор и набор коротких векторов.

У подхода есть очевидная цена. Генератор задаёт веса из узкого семейства, и если реальной задаче нужны «неудобные» матрицы, точность проседает. Обучение тоже сложнее: градиент идёт через два уровня сетей, а не через один.

Формулы и фракталы

Вторая ветка — аналитические описания. Если веса слоя хорошо ложатся на гладкую функцию, достаточно хранить её коэффициенты, а значения считать по координатам элемента матрицы. Так работают неявные нейронные представления, например SIREN для изображений и NeRF для сцен.

Фрактальная идея родом из сжатия картинок конца 1980-х. Блоки данных описываются как преобразованные копии других блоков, и вместо массива хранится набор правил самоподобия. Для весов это возможно, пока в них есть повторяющаяся структура. Обученные LLM далеко не всегда её показывают.

К этой же логике близки методы с генераторами псевдослучайных чисел. В работе SeedLM 2024 года блок весов приближается комбинацией из последовательности, порождаемой коротким зерном (seed), и нескольких коэффициентов. Хранится зерно, остальное пересчитывается при загрузке.

Что приходится платить

Компактность в этой области почти никогда не бывает бесплатной. Общие компромиссы такие:

• Память против вычислений. Веса не читаются из памяти, а генерируются, и это добавляет операций на каждый слой.
• Точность. Любая аппроксимация даёт ошибку, а ошибки накапливаются по глубине модели.
• Обучение. Модель либо обучают сразу в сжатой параметризации, либо сжимают после обучения, и во втором случае качество зависит от свойств конкретных весов.
• Железо. GPU оптимизированы под умножение плотных матриц. Нестандартная генерация весов на лету может съесть выигрыш по памяти.

Автор материала сравнивает путь LLM с судьбой первого Doom, который запускали на калькуляторах, принтерах и прочей бытовой электронике. Пока на каждом чайнике его оппонент не живёт: даже сильно сжатая модель упирается в пропускную способность памяти, а не только в её объём.

Практический вывод

Для инженеров, которые разворачивают модели на устройствах, сжатие через рецепты остаётся исследовательским направлением. В продакшене по-прежнему работают квантизация, LoRA-адаптеры и дистилляция. Следить за гиперсетями и методами на основе зёрен стоит тем, кто упирается в размер дистрибутива: для мобильных приложений, браузерного инференса и встраиваемых систем даже двукратная экономия на хранении решает вопрос о возможности запуска. Прежде чем что-то внедрять, нужно проверить три вещи: потерю качества на своих задачах, задержку на целевом железе и сложность дообучения.