Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизОткрытые веса · В работуMachine Learning Mastery→ оригинал

Как сжать LLM до 8 бит целиком: SmoothQuant и FP8 против выбросов

Чтобы LLM работала быстрее, числа в ней сжимают до 8 бит: с весами это делают один раз, а вот активации — промежуточные значения каждого запроса — скачут и содержат выбросы. SmoothQuant делит «шумные» каналы активаций на коэффициент, а веса умножает на тот же, и результат слоя не меняется. W8A8 — это 8 бит и для весов, и для активаций (INT8 или FP8). Но он не всегда быстрее W4A16 или BF16, поэтому замеряйте на своей нагрузке.

AI-обработка оригинала Machine Learning Mastery; редакция Hamidun News
Как сжать LLM до 8 бит целиком: SmoothQuant и FP8 против выбросов
Источник: Machine Learning Mastery. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникMachine Learning Mastery ↗
Главный редактор
Ключевой факт #1INT8-ядра vLLM работают на NVIDIA от Turing до Hopper, на Blackwell — FP8
Ключевой факт #2Статический масштаб быстрее, динамический точнее, но добавляет вычисления
FP8 не обрезает битытензор делят на масштаб и округляют до значения FP8

Чтобы LLM работала быстрее и занимала меньше памяти, числа внутри неё хранят в 8 битах вместо более тяжёлых форматов вроде BF16 или FP32. С весами модели это просто: они фиксируются после обучения, и сжать их можно один раз перед деплоем. Сложнее с активациями — промежуточными значениями, которые модель считает заново на каждый запрос. Они зависят от входного токена, его позиции и предыдущих слоёв, а в отдельных каналах постоянно торчат аномально большие числа — выбросы. Режим W8A8 (8 бит и для весов, и для активаций) как раз упирается в эту проблему. В новом разборе Machine Learning Mastery Адриан Там показывает, как её обходят с помощью SmoothQuant, INT8 и FP8 и что из этого уже можно запустить в vLLM.

Почему активации сложнее весов

Представьте линейку, на которой надо отметить и рост ребёнка, и высоту небоскрёба. Если растянуть шкалу под небоскрёб, ребёнка измерить аккуратно не получится: все значения попадут в пару делений. Если обрезать шкалу, небоскрёб упрётся в потолок, и информация о нём пропадёт. С выбросами в активациях происходит то же самое: широкий диапазон делает шаг квантизации грубым для обычных значений, а обрезка улучшает точность обычных, но уничтожает выброс.

Масштаб можно задать двумя способами. Статический подбирают заранее по калибровочным данным: он быстрый, но вход вне калибровочного диапазона может быть обрезан. Динамический измеряют прямо во время запроса: он подстраивается под каждый вход, но добавляет в путь инференса поиск максимума и расчёт масштаба. Частый вариант для трансформеров — динамический масштаб на каждый токен: один масштаб на все скрытые признаки токена. В примере из статьи используется симметричный INT8, где нулевая точка всегда равна нулю, поэтому арифметика матричных умножений проще.

SmoothQuant: перекладываем сложность на веса

SmoothQuant убирает выбросы хитрой подстановкой. Каналы активаций с большими значениями делят на подобранные коэффициенты, а соответствующие столбцы весов умножают на те же коэффициенты. До квантизации результат слоя математически не меняется, зато диапазон активаций выравнивается. Веса статичны и обычно спокойнее переносят неравномерный диапазон, если квантизировать их по каналам.

Автор отдельно отмечает отличие от AWQ из предыдущего текста серии. AWQ использует калибровочные активации, чтобы защитить важные веса в формате вроде W4A16, а активации при инференсе остаются в более точном формате. SmoothQuant готовит к INT8 обе стороны: меняет сохранённые веса и облегчает квантизацию активаций на лету.

Практический путь — библиотека LLM Compressor из проекта vLLM. В примере на TinyLlama-1.1B берут 128 калибровочных образцов из датасета ultrachat_200k длиной до 512 токенов. Затем применяют SmoothQuantModifier с силой сглаживания 0,8 и GPTQModifier для схемы W8A8, слой lm_head не трогают. Чекпоинт хранит INT8-веса по каналам и инструкции, как квантизировать активации во время инференса, а сами активации не сохраняются. vLLM загружает такой чекпоинт без отдельного аргумента квантизации.

FP8: не просто обрезка битов

FP8 — это тоже квантизация с масштабом. Тензор делят на масштаб и округляют до ближайшего значения, которое умеет представлять формат FP8. Автор подчёркивает, что это не простое отрезание битов от значения FP32. Для владельцев видеокарт Blackwell это особенно важно: текущие INT8-ядра vLLM рассчитаны на NVIDIA от Turing до Hopper, а на Blackwell стоит выбирать поддерживаемый путь FP8.

Что учесть на практике

  • Короткая генерация на TinyLlama проверяет лишь то, что чекпоинт загружается и работает. Ответ маленькой модели может быть неточным, а качество квантизации нужно сравнивать с исходной моделью на репрезентативных промптах.
  • Формат чекпоинта, архитектура модели, версия vLLM и GPU должны поддерживать одну и ту же схему W8A8.
  • W8A8 не гарантирует выигрыша перед W4A16 или BF16. INT8-матричное железо хорошо работает на prefill и больших батчах, а W4A16 читает меньше байт весов и может быть выгоднее при декодировании маленькими батчами.

Вывод для тех, кто считает стоимость инференса: единой лучшей схемы нет. Сначала определите профиль нагрузки — длинные промпты или короткие ответы, большие или малые батчи. Затем соберите два-три варианта чекпоинтов и прогоните бенчмарк отдельно по prefill и decode, не забыв оценить качество. Одна оговорка: в разборе используется крошечная модель, поэтому реальные цифры скорости и точности на больших LLM придётся проверять самостоятельно.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему активации сложнее весов?

Представьте линейку, на которой надо отметить и рост ребёнка, и высоту небоскрёба. Если растянуть шкалу под небоскрёб, ребёнка измерить аккуратно не получится: все значения попадут в пару делений. Если обрезать шкалу, небоскрёб упрётся в потолок, и информация о нём пропадёт. С выбросами в активациях происходит то же самое: широкий диапазон делает шаг квантизации грубым для обычных значений, а обрезка улучшает точность обычных, но уничтожает выброс. Масштаб можно задать двумя способами.

Что известно по теме: SmoothQuant: перекладываем сложность на веса?

SmoothQuant убирает выбросы хитрой подстановкой. Каналы активаций с большими значениями делят на подобранные коэффициенты, а соответствующие столбцы весов умножают на те же коэффициенты. До квантизации результат слоя математически не меняется, зато диапазон активаций выравнивается. Веса статичны и обычно спокойнее переносят неравномерный диапазон, если квантизировать их по каналам. Автор отдельно отмечает отличие от AWQ из предыдущего текста серии.

Что известно по теме: FP8: не просто обрезка битов?

FP8 — это тоже квантизация с масштабом. Тензор делят на масштаб и округляют до ближайшего значения, которое умеет представлять формат FP8. Автор подчёркивает, что это не простое отрезание битов от значения FP32. Для владельцев видеокарт Blackwell это особенно важно: текущие INT8-ядра vLLM рассчитаны на NVIDIA от Turing до Hopper, а на Blackwell стоит выбирать поддерживаемый путь FP8.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…