Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизОткрытые веса · В работуMachine Learning Mastery→ оригинал

Квантизация делает веса LLM в INT8 вдвое легче, чем в FP16: гайд по TorchAO

Чтобы выдать каждый токен, LLM заново читает все свои веса из памяти, и при малой нагрузке это дольше самих вычислений. Квантизация записывает веса 8-битными целыми числами (INT8) вместо 16-битных дробных (FP16): места нужно вдвое меньше, а библиотека TorchAO из PyTorch делает это одной функцией без дообучения. Ускорение зависит от видеокарты и ядер, поэтому после сжатия мерьте память, скорость и качество всей модели.

AI-обработка оригинала Machine Learning Mastery; редакция Hamidun News
Квантизация делает веса LLM в INT8 вдвое легче, чем в FP16: гайд по TorchAO
Источник: Machine Learning Mastery. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникMachine Learning Mastery ↗
Главный редактор
Ключевой факт #1GPTQ и AWQ подбирают веса по калибровочным примерам, а не округлением
Ключевой факт #2Асимметричный GPTQ не работает с бэкендом Marlin: выбирайте их вместе
Ключевой факт #3INT4 с группой 128 в transformers включается прямо при загрузке модели

Представьте, что для каждого слова, которое пишет чат-бот, ему приходится заново перелистать всю свою энциклопедию. Примерно так работает LLM на видеокарте: на каждый новый токен трансформер читает все свои веса из памяти. При небольших батчах (когда запросов обрабатывается мало) перекладывание весов занимает больше времени, чем сама математика. Квантизация бьёт по этой проблеме: веса хранятся в меньшем числе бит. Например, 8-битное целое число (INT8) занимает вдвое меньше места, чем 16-битное дробное (FP16 или BF16). Кроме того, многие ИИ-ускорители считают в низкой точности быстрее, чем в FP16. Адриан Там из Machine Learning Mastery разобрал это на практике: от формулы до готовых чекпойнтов, в том числе через TorchAO, библиотеку квантизации внутри PyTorch.

Как веса превращаются в целые числа

Проще всего думать о линейке. Диапазон значений весов делят на конечное число делений, а каждый вес записывают номером ближайшего. Для этого нужны два параметра: масштаб (шаг между соседними делениями) и нулевая точка (номер деления, соответствующего настоящему нулю). При использовании номер переводят обратно в приблизительное число. Разница между исходным и восстановленным значением и есть ошибка округления.

Автор предупреждает о ловушке. Учебный пример на PyTorch хранит значения в uint8, и каждое занимает целый байт, даже если вы просили 4 бита. Чтобы получить реальную экономию, боевому формату нужно упаковывать значения короче байта. Ещё одна деталь: один масштаб на весь тензор ухудшает качество. Для LLM обычно лучше схемы по каналам или по группам, где у каждой строки матрицы или блока весов свой диапазон.

Режим weight-only означает, что сжимаются только веса, а входные данные слоя (активации) остаются в FP16 или BF16. Эффективное ядро использует целые веса напрямую и не собирает обратно полную копию матрицы.

TorchAO, GPTQ и AWQ: три способа получить сжатую модель

Самый короткий путь даёт TorchAO. Функция quantize_() на месте заменяет веса подходящих слоёв Linear в уже обученной модели. Дообучение не нужно, поэтому метод называют посттренировочной квантизацией. В примере автор просит асимметричный INT8 по каналам при активациях в BF16. Через библиотеку transformers конфигурацию можно применить сразу при загрузке модели, например INT4 с группой 128. Автор отдельно отмечает: явный выбор алгоритма HQQ и тайловой упаковки позволил обойти опциональную зависимость от ядра MSLK в TorchAO 0.17 на проверенной RTX 4090. На других версиях и картах доступные раскладки могут отличаться.

Простое округление смотрит на каждый вес отдельно и не учитывает, насколько данный входной канал влияет на ответ. GPTQ и AWQ используют калибровочные примеры, то есть небольшой набор типичных текстов. GPTQ сжимает слой за слоем и по ходу подправляет ещё не сжатые веса, компенсируя накопленную ошибку. В transformers для него теперь работает бэкенд GPT-QModel, а в примере калибровка идёт по датасету c4, при этом параметр sym=False включает асимметричную схему. AWQ находит веса, которые важны при типичных активациях, и подбирает коэффициенты, защищающие их перед сжатием.

Подводные камни тоже есть. Асимметричные чекпойнты GPTQ работают с меньшим числом ядер: бэкенд Marlin их не поддерживает. Референсная реализация AWQ берёт для калибровки 128 примеров из pile-val-backup по 512 токенов, а выбрать другой датасет через её командную строку нельзя. Сырой файл .pt после квантизации не является полным чекпойнтом Hugging Face: в нём нет конфигурации модели и токенайзера, их нужно упаковать отдельно.

Что делать на практике

  • Выбирайте схему и бэкенд вместе. Математически корректная конфигурация не всегда самая быстрая, а рантайм должен поддерживать точный формат упаковки.
  • Не считайте экономию по формуле. INT8 даёт вдвое меньше сырого хранения, чем FP16 или BF16, но итог зависит от упаковки, групп и масштабов.
  • Мерьте всю модель. Скорость зависит от железа, ядер и форм матриц. Смотрите на память, задержку и качество на своих задачах, а не на отдельный слой.
  • Проверяйте калибровку. Результат GPTQ и AWQ зависит от того, насколько примеры похожи на реальный трафик. Для кода, юридических текстов или другого языка общий датасет может не подойти.

В материале разобраны также конвертация в формат GGUF для llama.cpp (нужна собранная копия репозитория) и оценка эффектов квантизации. Первоисточник в нашей версии обрывается на середине раздела про GPTQ, поэтому цифр по итоговой скорости и потере качества в нём нет. Для команд, которые считают стоимость инференса, это полезная шпаргалка. Разумный порядок такой: взять вариант TorchAO без калибровки как точку отсчёта, замерить память, скорость и качество, а затем пробовать GPTQ или AWQ там, где нужно сжатие сильнее.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как веса превращаются в целые числа?

Проще всего думать о линейке. Диапазон значений весов делят на конечное число делений, а каждый вес записывают номером ближайшего. Для этого нужны два параметра: масштаб (шаг между соседними делениями) и нулевая точка (номер деления, соответствующего настоящему нулю). При использовании номер переводят обратно в приблизительное число. Разница между исходным и восстановленным значением и есть ошибка округления. Автор предупреждает о ловушке.

Что известно по теме: TorchAO, GPTQ и AWQ: три способа получить сжатую модель?

Самый короткий путь даёт TorchAO. Функция quantize_() на месте заменяет веса подходящих слоёв Linear в уже обученной модели. Дообучение не нужно, поэтому метод называют посттренировочной квантизацией. В примере автор просит асимметричный INT8 по каналам при активациях в BF16. Через библиотеку transformers конфигурацию можно применить сразу при загрузке модели, например INT4 с группой 128.

Что известно по теме: что делать на практике?

Выбирайте схему и бэкенд вместе. Математически корректная конфигурация не всегда самая быстрая, а рантайм должен поддерживать точный формат упаковки. Не считайте экономию по формуле. INT8 даёт вдвое меньше сырого хранения, чем FP16 или BF16, но итог зависит от упаковки, групп и масштабов. Мерьте всю модель. Скорость зависит от железа, ядер и форм матриц. Смотрите на память, задержку и качество на своих задачах, а не на отдельный слой. Проверяйте калибровку.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…