ThinkBit сжимает Qwen3-14B до 3,74 ГБ и держит 94,8 на MATH-500

Двухбитное сжатие LLM давно умеет выглядеть прилично на бумаге: перплексия почти не растёт, тесты с выбором ответа проходятся. Рассуждать при этом такие модели нередко разучиваются. Команда ThinkBit, статья которой привязана к организации Microsoft на Hugging Face, решила проблему от обратного и строила метод под длинные цепочки рассуждений. На Qwen3-14B результат такой: файл в 3,74 ГБ набирает 94,8 на MATH-500, а оригинал в bfloat16 на 29,5 ГБ набирает 97,5. Разница в размере почти восьмикратная, в качестве меньше трёх пунктов.

Почему reasoning ломается первым

Reasoning-модели выдают тысячи токенов на каждый ответ. Скорость генерации здесь ограничена не вычислениями, а пропускной способностью памяти: на каждый токен приходится прочитать веса целиком. Хранить их в двух битах вместо шестнадцати значит потенциально сократить стоимость инференса в 8 раз. Но стандартные метрики оценки двухбитных методов, перплексия и multiple-choice QA, мало говорят о том, переживёт ли модель сложную многошаговую задачу. Небольшая ошибка в весах накапливается по длинной цепочке токенов, и итоговый ответ уходит в сторону.

ThinkBit остаётся строго скалярным. Каждый вес представлен как целочисленное кодовое слово, умноженное на масштаб в bfloat16, общий для группы весов. Векторной квантизации с большими кодбуками здесь нет, поэтому формат проще для реализации в рантаймах.

Четыре этапа и финальный арбитр

Пайплайн последовательный, и у каждой стадии своя роль:

• Распределение битности. Метрика чувствительности относит каждый слой к одному из трёх тиров: тернарный, 2-бит или 3-бит. Критичные слои получают больше бит, устойчивые меньше.
• Поиск кодовых слов. Послойный алгоритм на основе Gumbel-softmax ищет оптимальные кодовые слова блок за блоком.
• Рекалибровка масштабов. Послойная схема не видит, как квантованные слои влияют друг на друга. Поэтому кодовые слова замораживаются, а масштабы подстраиваются по loss на основе дистилляции знаний от модели-учителя.
• Короткий QAT. Обучение с учётом квантизации позволяет модели повторить распределение базовой модели за счёт переназначения кодовых слов.
• Выбор чекпоинта. Парный reasoning-тест на обучающих задачах решает, что оставить: результат рекалибровки или результат QAT. Выбор делается по способности рассуждать, а не по перплексии.

Последний шаг самый необычный. QAT не всегда улучшает рассуждение, и авторы проверяют это напрямую, а не предполагают.

Цифры на Qwen3-1.7B и Qwen3-14B

На Qwen3-1.7B при сопоставимом размере рекалибровочный чекпоинт ThinkBit набирает 46,7 на MATH-500. EfficientQAT на тех же данных даёт 30,0. После QAT на reasoning-трассах результат растёт до 73,0. Файл при этом занимает 0,52 ГБ. Он меньше любого опубликованного двухбитного GGUF этой модели и точнее его на MATH-500.

Полный перечень приведённых метрик:

• Qwen3-1.7B, рекалибровка ThinkBit: 46,7 на MATH-500
• Qwen3-1.7B, EfficientQAT на тех же данных: 30,0
• Qwen3-1.7B, ThinkBit после QAT на reasoning-трассах: 73,0
• Размер Qwen3-1.7B в ThinkBit: 0,52 ГБ, меньше всех опубликованных 2-bit GGUF
• Qwen3-14B, ThinkBit: 3,74 ГБ, 94,8 на MATH-500
• Qwen3-14B, bfloat16: 29,5 ГБ, 97,5 на MATH-500

Фактическое сжатие 14B-модели составляет примерно 7,9 раза, что близко к теоретическому потолку в 8 раз для перехода с 16 на 2 бита. Метод масштабируется от 1,7B до 14B без потери общей логики.

Что получают те, кто запускает модели сами

Модель с сильным reasoning на 3,74 ГБ помещается в видеокарту с 8 ГБ с запасом под KV-кэш. Раньше такой класс задач требовал карты на 24–32 ГБ. Для локального запуска и для сервисов с длинной генерацией это прямая экономия: меньше памяти на реплику, больше реплик на ту же карту, выше пропускная способность.

При оценке собственных квантизованных моделей стоит добавить в набор тестов задачи на рассуждение вроде MATH-500 и сравнивать не только перплексию. Из 1,7B-результатов видно, как легко метрики расходятся: разрыв между 30,0 и 46,7 при схожем размере перплексия, скорее всего, не показала бы. Пока ни модели, ни датасеты, ни Space к статье не привязаны, так что воспроизводить результаты придётся по описанию метода.