Como comprimir um LLM inteiro para 8 bits: SmoothQuant e FP8 contra os outliers
Para que um LLM rode mais rápido, seus números são comprimidos para 8 bits. Com os pesos, isso é feito uma única vez, mas as ativações — valores intermediários de cada requisição — variam o tempo todo e contêm outliers. O SmoothQuant divide os canais "barulhentos" das ativações por um coeficiente e multiplica os pesos pelo mesmo valor, de modo que o resultado da camada não muda. O W8A8 usa 8 bits tanto para os pesos quanto para as ativações (INT8 ou FP8). Mas ele nem sempre é mais rápido que W4A16 ou BF16, por isso meça na sua própria carga de trabalho.
Processado por IA de Machine Learning Mastery; editado por Hamidun News
Para que um LLM rode mais rápido e ocupe menos memória, seus números são armazenados em 8 bits, em vez de formatos mais pesados como BF16 ou FP32. Com os pesos do modelo, isso é simples: eles são fixados após o treinamento, e podem ser comprimidos uma única vez antes do deploy. O desafio está nas ativações — valores intermediários que o modelo recalcula a cada requisição.
Elas dependem do token de entrada, de sua posição e das camadas anteriores, e alguns canais apresentam valores anormalmente grandes de forma constante — os outliers. O modo W8A8 (8 bits tanto para os pesos quanto para as ativações) esbarra exatamente nesse problema. Em uma nova análise do Machine Learning Mastery, Adrian Tam mostra como contornar a questão com SmoothQuant, INT8 e FP8, e o que já pode ser executado no vLLM.
Por que as ativações são mais difíceis que os pesos
Imagine uma régua que precise marcar tanto a altura de uma criança quanto a de um arranha-céu. Se a escala for esticada para caber o arranha-céu, a criança não pode ser medida com precisão: todos os valores caem em poucas divisões. Se a escala for cortada, o arranha-céu bate no teto e a informação sobre ele se perde. Com os outliers nas ativações acontece o mesmo: a faixa ampla torna o passo de quantização grosseiro para os valores comuns, enquanto o corte melhora a precisão dos valores comuns, mas destrói o outlier.
A escala pode ser definida de duas formas. A estática é escolhida antecipadamente, com base em dados de calibração: é rápida, mas uma entrada fora da faixa de calibração pode ser cortada. A dinâmica é medida durante a própria requisição: se adapta a cada entrada, mas acrescenta ao caminho de inferência a busca pelo máximo e o cálculo da escala. Uma variante comum em transformers é a escala dinâmica por token: uma única escala para todas as características ocultas de cada token. No exemplo do artigo, usa-se INT8 simétrico, em que o ponto zero é sempre zero, o que simplifica a aritmética das multiplicações de matrizes.
SmoothQuant: transferindo a complexidade para os pesos
O SmoothQuant elimina os outliers com uma substituição engenhosa. Os canais de ativação com valores grandes são divididos por coeficientes escolhidos, e as colunas correspondentes dos pesos são multiplicadas pelos mesmos coeficientes. Antes da quantização, o resultado da camada permanece matematicamente igual, mas a faixa das ativações fica mais uniforme. Os pesos são estáticos e geralmente toleram melhor uma faixa irregular quando são quantizados por canal.
O autor destaca ainda a diferença em relação ao AWQ, abordado no texto anterior da série. O AWQ usa ativações de calibração para proteger os pesos importantes em um formato como W4A16, enquanto as ativações durante a inferência permanecem em um formato mais preciso. O SmoothQuant prepara os dois lados para INT8: altera os pesos armazenados e facilita a quantização das ativações em tempo de execução.
O caminho prático é a biblioteca LLM Compressor, do projeto vLLM. No exemplo com o TinyLlama-1.1B, são usadas 128 amostras de calibração do dataset ultrachat_200k, com até 512 tokens cada. Em seguida, aplicam-se o SmoothQuantModifier, com força de suavização de 0,8, e o GPTQModifier para o esquema W8A8; a camada lm_head não é alterada. O checkpoint armazena os pesos INT8 por canal e as instruções de como quantizar as ativações durante a inferência, mas as ativações em si não são salvas. O vLLM carrega esse checkpoint sem um argumento de quantização separado.
FP8: mais que cortar bits
O FP8 também é uma quantização com escala. O tensor é dividido pela escala e arredondado para o valor mais próximo que o formato FP8 consegue representar. O autor enfatiza que não se trata de simplesmente cortar bits de um valor FP32. Para quem tem placas Blackwell, isso é especialmente importante: os kernels INT8 atuais do vLLM são voltados para GPUs NVIDIA de Turing até Hopper, e na Blackwell é preciso escolher o caminho FP8 suportado.
O que considerar na prática
- A geração curta no TinyLlama só verifica se o checkpoint carrega e executa. A resposta de um modelo pequeno pode ser imprecisa, e a qualidade da quantização deve ser comparada com o modelo original em prompts representativos.
- O formato do checkpoint, a arquitetura do modelo, a versão do vLLM e a GPU precisam suportar o mesmo esquema W8A8.
- O W8A8 não garante ganho em relação a W4A16 ou BF16. O hardware de matrizes INT8 funciona bem no prefill e em lotes grandes, enquanto o W4A16 lê menos bytes de pesos e pode compensar na decodificação com lotes pequenos.
Conclusão para quem calcula o custo da inferência: não existe um esquema melhor para todos os casos. Primeiro, defina o perfil da carga — prompts longos ou respostas curtas, lotes grandes ou pequenos. Depois, prepare duas ou três variantes de checkpoint e rode o benchmark separadamente para prefill e decode, sem esquecer de avaliar a qualidade. Uma ressalva: a análise usa um modelo minúsculo, então os números reais de velocidade e precisão em LLMs grandes precisam ser verificados por conta própria.
- 17 de mai. de 2026Como reduzir um modelo de linguagem em 3 vezes: guia de FP8, GPTQ e SmoothQuant
- 11 de out. de 2026Pais de alunos de escola a 300 m da fábrica da Tesla pedem mais tempo para analisar plano de emissões
- 9 de jul. de 2026IA para empresas e clima: por que Google e Amazon estão atrasadas em suas metas
- 3 de mai. de 2026KDnuggets: cinco métodos de detecção de outliers coincidiram em apenas 32 de 816 vinhos
Perguntas frequentes sobre a notícia
Por que as ativações são mais difíceis que os pesos?
Imagine uma régua que precise marcar tanto a altura de uma criança quanto a de um arranha-céu. Se a escala for esticada para caber o arranha-céu, a criança não pode ser medida com precisão: todos os valores caem em poucas divisões. Se a escala for cortada, o arranha-céu bate no teto e a informação sobre ele se perde.
O que se sabe sobre SmoothQuant: transferindo a complexidade para os pesos?
O SmoothQuant elimina os outliers com uma substituição engenhosa. Os canais de ativação com valores grandes são divididos por coeficientes escolhidos, e as colunas correspondentes dos pesos são multiplicadas pelos mesmos coeficientes. Antes da quantização, o resultado da camada permanece matematicamente igual, mas a faixa das ativações fica mais uniforme. Os pesos são estáticos e geralmente toleram melhor uma faixa irregular quando são quantizados por canal.
O que se sabe sobre FP8: mais que cortar bits?
O FP8 também é uma quantização com escala. O tensor é dividido pela escala e arredondado para o valor mais próximo que o formato FP8 consegue representar. O autor enfatiza que não se trata de simplesmente cortar bits de um valor FP32. Para quem tem placas Blackwell, isso é especialmente importante: os kernels INT8 atuais do vLLM são voltados para GPUs NVIDIA de Turing até Hopper, e na Blackwell é preciso escolher o caminho FP8 suportado.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.