Phase-HDC обучает модель без истории оптимизатора и хранит в 16–23 раза меньше Adam

Команда исследователей опубликовала на arXiv метод Phase-HDC, который позволяет обучать компактный гиперразмерный классификатор, храня в памяти только саму модель. На одиннадцати датасетах (изображения, таблицы, текст) он занимает в 16–23 раза меньше места, чем стандартный float32 Adam, и в 4–6 раз меньше, чем 8-bit Adam. Платить приходится точностью: в среднем около пяти пунктов относительно float32 Adam.

Почему оптимизатор весит больше модели

У маленьких моделей есть неприятная особенность: обучение требует куда больше памяти, чем хранение готового результата. Причина в оптимизаторе. Adam держит для каждого параметра записи о прошлых градиентах, то есть первый и второй моменты. Для модели с низкобитными параметрами это становится особенно заметно.

В работе речь о гиперразмерных (HDC) классификаторах, где обучаемые параметры — углы с малым числом бит. Авторы называют такой набор «фазовой памятью». Записи оптимизатора для неё занимают в несколько раз больше места, чем сама модель. Отсюда вопрос, с которого начинается статья: можно ли обучать такую модель, не храня ничего, кроме неё самой?

Один шаг, против градиента, только если он велик

Phase-HDC отвечает на него очень простым правилом. На каждом обновлении сохранённый угол сдвигается не больше чем на один шаг сетки. Направление выбирается против знака текущего градиента. И двигается параметр только тогда, когда этот градиент достаточно велик. Истории нет, есть порог на текущее значение.

Авторы утверждают, что правило не эвристика, а точное решение модели потерь первого порядка, в которой каждый изменённый параметр платит фиксированную цену. Иначе говоря, порог возникает из постановки: двигать параметр стоит, только когда ожидаемый выигрыш по loss перекрывает эту цену.

Главные результаты из аннотации:

• при прочих равных условиях (меняется только правило обновления) Phase-HDC по точности равен Adam с 6-битными моментами, но хранит втрое меньше;
• относительно float32 Adam экономия составляет 16–23 раза, относительно 8-bit Adam — 4–6 раз;
• средняя потеря точности к float32 Adam — около пяти пунктов;
• на шести из одиннадцати датасетов Phase-HDC точнее 8-bit Adam;
• на предсказании текста на уровне байтов 8-bit Adam разваливается, а Phase-HDC нет.

Что показали замеры внутри обучения

Самое интересное в статье — объяснение, почему так получается. Авторы инструментировали обучающие прогоны и посмотрели, что на самом деле делают моменты Adam, когда параметры обязаны лежать на дискретной сетке. По их выводу, моменты в основном решают, сдвинется ли параметр вообще. Это бинарное решение, и порог на текущий градиент может принять его без всякой памяти.

Грубая квантизация моментов, напротив, ломает именно это решение. Страдают входы, которые в данных встречаются редко: для них статистика в моментах слабая, и после округления она перестаёт различать «двигать» и «не двигать». Это и объясняет провал 8-bit Adam на байтовом тексте, где редких символов много.

Где метод пригодится, а где пока рано

Практический вывод осторожный. Если вы обучаете или дообучаете компактные HDC-модели на устройствах с жёстким бюджетом памяти, например на встроенных системах или в сценариях обучения прямо на месте, то стоимость оптимизатора здесь можно убрать почти полностью. Для таких задач пять пунктов точности могут быть приемлемой ценой, а на редких или неравномерных данных метод ещё и устойчивее 8-bit Adam.

Ограничений два, и авторы называют их сами. Первое: речь о точности ниже float32 Adam, так что там, где важен каждый пункт, метод не замена. Второе: экономия подсчитана как логическое состояние, а не как измеренная аппаратная память. Реальный выигрыш на конкретном железе зависит от упаковки данных и реализации, и его ещё предстоит замерить. Наконец, проверка шла на HDC-классификаторах, и перенос идеи на обычные нейросети в работе не заявлен.

На всякий случай стоит запомнить само наблюдение: в дискретном обучении история градиентов часто нужна лишь для решения «двигать или нет», и для этого хватает текущего градиента с порогом.