Квантизация делает веса LLM в INT8 вдвое легче, чем в FP16: гайд по TorchAO
Чтобы выдать каждый токен, LLM заново читает все свои веса из памяти, и при малой нагрузке это дольше самих вычислений. Квантизация записывает веса 8-битными целыми числами (INT8) вместо 16-битных дробных (FP16): места нужно вдвое меньше, а библиотека TorchAO из PyTorch делает это одной функцией без дообучения. Ускорение зависит от видеокарты и ядер, поэтому после сжатия мерьте память, скорость и качество всей модели.
AI-обработка оригинала Machine Learning Mastery; редакция Hamidun News
Представьте, что для каждого слова, которое пишет чат-бот, ему приходится заново перелистать всю свою энциклопедию. Примерно так работает LLM на видеокарте: на каждый новый токен трансформер читает все свои веса из памяти. При небольших батчах (когда запросов обрабатывается мало) перекладывание весов занимает больше времени, чем сама математика. Квантизация бьёт по этой проблеме: веса хранятся в меньшем числе бит. Например, 8-битное целое число (INT8) занимает вдвое меньше места, чем 16-битное дробное (FP16 или BF16). Кроме того, многие ИИ-ускорители считают в низкой точности быстрее, чем в FP16. Адриан Там из Machine Learning Mastery разобрал это на практике: от формулы до готовых чекпойнтов, в том числе через TorchAO, библиотеку квантизации внутри PyTorch.
Как веса превращаются в целые числа
Проще всего думать о линейке. Диапазон значений весов делят на конечное число делений, а каждый вес записывают номером ближайшего. Для этого нужны два параметра: масштаб (шаг между соседними делениями) и нулевая точка (номер деления, соответствующего настоящему нулю). При использовании номер переводят обратно в приблизительное число. Разница между исходным и восстановленным значением и есть ошибка округления.
Автор предупреждает о ловушке. Учебный пример на PyTorch хранит значения в uint8, и каждое занимает целый байт, даже если вы просили 4 бита. Чтобы получить реальную экономию, боевому формату нужно упаковывать значения короче байта. Ещё одна деталь: один масштаб на весь тензор ухудшает качество. Для LLM обычно лучше схемы по каналам или по группам, где у каждой строки матрицы или блока весов свой диапазон.
Режим weight-only означает, что сжимаются только веса, а входные данные слоя (активации) остаются в FP16 или BF16. Эффективное ядро использует целые веса напрямую и не собирает обратно полную копию матрицы.
TorchAO, GPTQ и AWQ: три способа получить сжатую модель
Самый короткий путь даёт TorchAO. Функция quantize_() на месте заменяет веса подходящих слоёв Linear в уже обученной модели. Дообучение не нужно, поэтому метод называют посттренировочной квантизацией. В примере автор просит асимметричный INT8 по каналам при активациях в BF16. Через библиотеку transformers конфигурацию можно применить сразу при загрузке модели, например INT4 с группой 128. Автор отдельно отмечает: явный выбор алгоритма HQQ и тайловой упаковки позволил обойти опциональную зависимость от ядра MSLK в TorchAO 0.17 на проверенной RTX 4090. На других версиях и картах доступные раскладки могут отличаться.
Простое округление смотрит на каждый вес отдельно и не учитывает, насколько данный входной канал влияет на ответ. GPTQ и AWQ используют калибровочные примеры, то есть небольшой набор типичных текстов. GPTQ сжимает слой за слоем и по ходу подправляет ещё не сжатые веса, компенсируя накопленную ошибку. В transformers для него теперь работает бэкенд GPT-QModel, а в примере калибровка идёт по датасету c4, при этом параметр sym=False включает асимметричную схему. AWQ находит веса, которые важны при типичных активациях, и подбирает коэффициенты, защищающие их перед сжатием.
Подводные камни тоже есть. Асимметричные чекпойнты GPTQ работают с меньшим числом ядер: бэкенд Marlin их не поддерживает. Референсная реализация AWQ берёт для калибровки 128 примеров из pile-val-backup по 512 токенов, а выбрать другой датасет через её командную строку нельзя. Сырой файл .pt после квантизации не является полным чекпойнтом Hugging Face: в нём нет конфигурации модели и токенайзера, их нужно упаковать отдельно.
Что делать на практике
- Выбирайте схему и бэкенд вместе. Математически корректная конфигурация не всегда самая быстрая, а рантайм должен поддерживать точный формат упаковки.
- Не считайте экономию по формуле. INT8 даёт вдвое меньше сырого хранения, чем FP16 или BF16, но итог зависит от упаковки, групп и масштабов.
- Мерьте всю модель. Скорость зависит от железа, ядер и форм матриц. Смотрите на память, задержку и качество на своих задачах, а не на отдельный слой.
- Проверяйте калибровку. Результат GPTQ и AWQ зависит от того, насколько примеры похожи на реальный трафик. Для кода, юридических текстов или другого языка общий датасет может не подойти.
В материале разобраны также конвертация в формат GGUF для llama.cpp (нужна собранная копия репозитория) и оценка эффектов квантизации. Первоисточник в нашей версии обрывается на середине раздела про GPTQ, поэтому цифр по итоговой скорости и потере качества в нём нет. Для команд, которые считают стоимость инференса, это полезная шпаргалка. Разумный порядок такой: взять вариант TorchAO без калибровки как точку отсчёта, замерить память, скорость и качество, а затем пробовать GPTQ или AWQ там, где нужно сжатие сильнее.
- 21 нояб. 2026 г.Восемь open-source инструментов для ИИ-агентов: Browser Use лидирует со 121 тысячей звёзд
- 21 нояб. 2026 г.Thinking Machines выпустила открытую Inkling 2 Mini на 26,4 млрд параметров для Mac с 32 ГБ
- 21 нояб. 2026 г.Видеомодель AURA 2.0 сама вступает в разговор: ответ звучит через 344 мс
- 21 нояб. 2026 г.Anthropic провела рекордное IPO на $81,3 млрд, но контроль остался у основателей
Вопросы и ответы по материалу
Что известно по теме: как веса превращаются в целые числа?
Проще всего думать о линейке. Диапазон значений весов делят на конечное число делений, а каждый вес записывают номером ближайшего. Для этого нужны два параметра: масштаб (шаг между соседними делениями) и нулевая точка (номер деления, соответствующего настоящему нулю). При использовании номер переводят обратно в приблизительное число. Разница между исходным и восстановленным значением и есть ошибка округления. Автор предупреждает о ловушке.
Что известно по теме: TorchAO, GPTQ и AWQ: три способа получить сжатую модель?
Самый короткий путь даёт TorchAO. Функция quantize_() на месте заменяет веса подходящих слоёв Linear в уже обученной модели. Дообучение не нужно, поэтому метод называют посттренировочной квантизацией. В примере автор просит асимметричный INT8 по каналам при активациях в BF16. Через библиотеку transformers конфигурацию можно применить сразу при загрузке модели, например INT4 с группой 128.
Что известно по теме: что делать на практике?
Выбирайте схему и бэкенд вместе. Математически корректная конфигурация не всегда самая быстрая, а рантайм должен поддерживать точный формат упаковки. Не считайте экономию по формуле. INT8 даёт вдвое меньше сырого хранения, чем FP16 или BF16, но итог зависит от упаковки, групп и масштабов. Мерьте всю модель. Скорость зависит от железа, ядер и форм матриц. Смотрите на память, задержку и качество на своих задачах, а не на отдельный слой. Проверяйте калибровку.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.