Замороженный словарь на 16 МБ сравнялся с обучаемым в малых LLM

В Gemma 3 270M таблица эмбеддингов занимает 168 млн из 268 млн параметров, то есть почти две трети модели. Авторы новой работы, попавшей в Hugging Face Daily Papers, спросили, что именно покупает эта таблица, и заменили её замороженной: 512-битные коды, 16 МБ, ни одного обучаемого параметра. Тело модели с архитектурой Gemma обучили с нуля на 2,05 млрд токенов, с обычным словарём и с замороженным. На LAMBADA, HellaSwag и PIQA версия с замороженной таблицей оказалась лучше или равной. Только ARC-Easy остался за обучаемым вариантом.

Почему словарь стал главной статьёй расходов

В маленьких моделях словарь перевешивает всё остальное. Методы квантизации обычно оставляют эмбеддинги в 16 бит, поэтому после сжатия остальной сети именно таблица занимает большую часть файла. Дальше урезать модель мешает собственный словарь.

Авторы взяли предобученную таблицу эмбеддингов, один раз спроецировали её методом главных компонент и бинаризовали по знаку. Получился набор 512-битных кодов на 16 МБ. Эта таблица не меняется в ходе обучения и не требует градиентов. Обучаемая версия даёт выигрыш в 0,20 нат на валидационном лоссе, но стоит в 2,6 раза больше обучаемых параметров. На практических бенчмарках эта разница почти не видна.

Тернарное тело и скорость на ноутбуке

Дальше авторы объединили замороженный словарь с тернарным телом BitNet b1.58. Вся модель укладывается в 46 МБ и на LAMBADA и PIQA по-прежнему держится на уровне float-модели. На CPU ноутбука она генерирует 615–740 токенов в секунду и занимает 62 МБ памяти. Для сравнения: 8-битный GGUF float-модели в llama.cpp работает в пять-шесть раз медленнее и требует в семь раз больше памяти.

Ключевые цифры работы:

• Таблица эмбеддингов Gemma 3 270M: 168 млн из 268 млн параметров.
• Замороженный словарь: 512-битные коды, 16 МБ, 0 обучаемых параметров.
• Данные обучения: 2,05 млрд токенов, одинаковые для обеих версий.
• Цена обучаемой таблицы: 2,6 раза больше обучаемых параметров ради 0,20 нат лосса.
• Тернарная модель целиком: 46 МБ, 62 МБ памяти при работе.
• Скорость на ноутбучном CPU: 615–740 токенов в секунду.

Редкие слова и новые токены

Самое любопытное результаты на хвосте распределения. На редких словах замороженная таблица выигрывает 1,7–2,3 нат. Ещё интереснее поведение при расширении словаря: после обучения в него добавили 10 000 новых слов. Модель с замороженными кодами потеряла около 3%, а с обучаемой таблицей качество рухнуло на 43%. Причина в том, что новые токены получают коды из того же пространства, в котором модель уже работает, а не вектор, к которому тело не приспособлено.

Ограничения тоже есть. Эксперимент проведён на одной архитектуре, на небольшом корпусе в 2,05 млрд токенов и модели в районе 270 млн параметров. Будет ли тот же эффект на больших масштабах, из статьи не следует. Авторы подчёркивают, что опубликовали веса, данные и каждый ответ в оценках, так что проверить цифры можно самостоятельно.

Где это пригодится

Для тех, кто делает модели для устройств без GPU, вывод простой: размер словаря стоит считать отдельной статьёй бюджета, а не побочным продуктом выбора токенизатора. Если замороженная таблица держит качество на LAMBADA, HellaSwag и PIQA, то обучаемые параметры можно тратить на тело модели. Модель в 46 МБ, работающая со скоростью сотен токенов в секунду на обычном ноутбуке, годится для офлайн-подсказок, локальной обработки текста и встроенных ассистентов. Отдельный плюс — возможность добавлять терминологию после обучения почти без потерь, что важно для узких доменов вроде медицины, юриспруденции и кода. Перед внедрением стоит проверить задачи вроде ARC-Easy, где обучаемая таблица всё же сохраняет преимущество.