Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarMachine Learning Mastery→ original

Como comprimir um LLM inteiro para 8 bits: SmoothQuant e FP8 contra os outliers

Para que um LLM rode mais rápido, seus números são comprimidos para 8 bits. Com os pesos, isso é feito uma única vez, mas as ativações — valores intermediários de cada requisição — variam o tempo todo e contêm outliers. O SmoothQuant divide os canais "barulhentos" das ativações por um coeficiente e multiplica os pesos pelo mesmo valor, de modo que o resultado da camada não muda. O W8A8 usa 8 bits tanto para os pesos quanto para as ativações (INT8 ou FP8). Mas ele nem sempre é mais rápido que W4A16 ou BF16, por isso meça na sua própria carga de trabalho.

Processado por IA de Machine Learning Mastery; editado por Hamidun News
Como comprimir um LLM inteiro para 8 bits: SmoothQuant e FP8 contra os outliers
Fonte: Machine Learning Mastery. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMachine Learning Mastery ↗
Editor-chefe
Dado-chave #1Os kernels INT8 do vLLM funcionam em GPUs NVIDIA de Turing até Hopper; na Blackwell, o caminho é o FP8
Dado-chave #2A escala estática é mais rápida, a dinâmica é mais precisa, mas adiciona cálculos
O FP8 não corta bitso tensor é dividido pela escala e arredondado para o valor FP8 mais próximo

Para que um LLM rode mais rápido e ocupe menos memória, seus números são armazenados em 8 bits, em vez de formatos mais pesados como BF16 ou FP32. Com os pesos do modelo, isso é simples: eles são fixados após o treinamento, e podem ser comprimidos uma única vez antes do deploy. O desafio está nas ativações — valores intermediários que o modelo recalcula a cada requisição.

Elas dependem do token de entrada, de sua posição e das camadas anteriores, e alguns canais apresentam valores anormalmente grandes de forma constante — os outliers. O modo W8A8 (8 bits tanto para os pesos quanto para as ativações) esbarra exatamente nesse problema. Em uma nova análise do Machine Learning Mastery, Adrian Tam mostra como contornar a questão com SmoothQuant, INT8 e FP8, e o que já pode ser executado no vLLM.

Por que as ativações são mais difíceis que os pesos

Imagine uma régua que precise marcar tanto a altura de uma criança quanto a de um arranha-céu. Se a escala for esticada para caber o arranha-céu, a criança não pode ser medida com precisão: todos os valores caem em poucas divisões. Se a escala for cortada, o arranha-céu bate no teto e a informação sobre ele se perde. Com os outliers nas ativações acontece o mesmo: a faixa ampla torna o passo de quantização grosseiro para os valores comuns, enquanto o corte melhora a precisão dos valores comuns, mas destrói o outlier.

A escala pode ser definida de duas formas. A estática é escolhida antecipadamente, com base em dados de calibração: é rápida, mas uma entrada fora da faixa de calibração pode ser cortada. A dinâmica é medida durante a própria requisição: se adapta a cada entrada, mas acrescenta ao caminho de inferência a busca pelo máximo e o cálculo da escala. Uma variante comum em transformers é a escala dinâmica por token: uma única escala para todas as características ocultas de cada token. No exemplo do artigo, usa-se INT8 simétrico, em que o ponto zero é sempre zero, o que simplifica a aritmética das multiplicações de matrizes.

SmoothQuant: transferindo a complexidade para os pesos

O SmoothQuant elimina os outliers com uma substituição engenhosa. Os canais de ativação com valores grandes são divididos por coeficientes escolhidos, e as colunas correspondentes dos pesos são multiplicadas pelos mesmos coeficientes. Antes da quantização, o resultado da camada permanece matematicamente igual, mas a faixa das ativações fica mais uniforme. Os pesos são estáticos e geralmente toleram melhor uma faixa irregular quando são quantizados por canal.

O autor destaca ainda a diferença em relação ao AWQ, abordado no texto anterior da série. O AWQ usa ativações de calibração para proteger os pesos importantes em um formato como W4A16, enquanto as ativações durante a inferência permanecem em um formato mais preciso. O SmoothQuant prepara os dois lados para INT8: altera os pesos armazenados e facilita a quantização das ativações em tempo de execução.

O caminho prático é a biblioteca LLM Compressor, do projeto vLLM. No exemplo com o TinyLlama-1.1B, são usadas 128 amostras de calibração do dataset ultrachat_200k, com até 512 tokens cada. Em seguida, aplicam-se o SmoothQuantModifier, com força de suavização de 0,8, e o GPTQModifier para o esquema W8A8; a camada lm_head não é alterada. O checkpoint armazena os pesos INT8 por canal e as instruções de como quantizar as ativações durante a inferência, mas as ativações em si não são salvas. O vLLM carrega esse checkpoint sem um argumento de quantização separado.

FP8: mais que cortar bits

O FP8 também é uma quantização com escala. O tensor é dividido pela escala e arredondado para o valor mais próximo que o formato FP8 consegue representar. O autor enfatiza que não se trata de simplesmente cortar bits de um valor FP32. Para quem tem placas Blackwell, isso é especialmente importante: os kernels INT8 atuais do vLLM são voltados para GPUs NVIDIA de Turing até Hopper, e na Blackwell é preciso escolher o caminho FP8 suportado.

O que considerar na prática

  • A geração curta no TinyLlama só verifica se o checkpoint carrega e executa. A resposta de um modelo pequeno pode ser imprecisa, e a qualidade da quantização deve ser comparada com o modelo original em prompts representativos.
  • O formato do checkpoint, a arquitetura do modelo, a versão do vLLM e a GPU precisam suportar o mesmo esquema W8A8.
  • O W8A8 não garante ganho em relação a W4A16 ou BF16. O hardware de matrizes INT8 funciona bem no prefill e em lotes grandes, enquanto o W4A16 lê menos bytes de pesos e pode compensar na decodificação com lotes pequenos.

Conclusão para quem calcula o custo da inferência: não existe um esquema melhor para todos os casos. Primeiro, defina o perfil da carga — prompts longos ou respostas curtas, lotes grandes ou pequenos. Depois, prepare duas ou três variantes de checkpoint e rode o benchmark separadamente para prefill e decode, sem esquecer de avaliar a qualidade. Uma ressalva: a análise usa um modelo minúsculo, então os números reais de velocidade e precisão em LLMs grandes precisam ser verificados por conta própria.

História

Perguntas frequentes sobre a notícia

Por que as ativações são mais difíceis que os pesos?

Imagine uma régua que precise marcar tanto a altura de uma criança quanto a de um arranha-céu. Se a escala for esticada para caber o arranha-céu, a criança não pode ser medida com precisão: todos os valores caem em poucas divisões. Se a escala for cortada, o arranha-céu bate no teto e a informação sobre ele se perde.

O que se sabe sobre SmoothQuant: transferindo a complexidade para os pesos?

O SmoothQuant elimina os outliers com uma substituição engenhosa. Os canais de ativação com valores grandes são divididos por coeficientes escolhidos, e as colunas correspondentes dos pesos são multiplicadas pelos mesmos coeficientes. Antes da quantização, o resultado da camada permanece matematicamente igual, mas a faixa das ativações fica mais uniforme. Os pesos são estáticos e geralmente toleram melhor uma faixa irregular quando são quantizados por canal.

O que se sabe sobre FP8: mais que cortar bits?

O FP8 também é uma quantização com escala. O tensor é dividido pela escala e arredondado para o valor mais próximo que o formato FP8 consegue representar. O autor enfatiza que não se trata de simplesmente cortar bits de um valor FP32. Para quem tem placas Blackwell, isso é especialmente importante: os kernels INT8 atuais do vLLM são voltados para GPUs NVIDIA de Turing até Hopper, e na Blackwell é preciso escolher o caminho FP8 suportado.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…