Quantização deixa os pesos de LLMs em INT8 com metade do tamanho do FP16: guia do TorchAO
Para gerar cada token, um LLM relê todos os seus pesos da memória, e com pouca carga isso leva mais tempo do que os próprios cálculos. A quantização armazena os pesos em inteiros de 8 bits (INT8) em vez de números fracionários de 16 bits (FP16): o espaço necessário cai pela metade, e a biblioteca TorchAO, do PyTorch, faz isso com uma única função, sem necessidade de treinamento adicional. O ganho de velocidade depende da placa de vídeo e dos kernels, por isso, após a compressão, meça o uso de memória, a velocidade e a qualidade do modelo como um todo.
Processado por IA de Machine Learning Mastery; editado por Hamidun News
Imagine que, para cada palavra que o chatbot escreve, ele precise folhear toda a sua enciclopédia de novo. Mais ou menos assim um LLM funciona em uma placa de vídeo: a cada novo token, o transformer lê todos os seus pesos da memória. Com lotes pequenos (quando são processadas poucas requisições), mover os pesos leva mais tempo do que a própria matemática.
A quantização ataca esse problema: os pesos são armazenados em um número menor de bits. Por exemplo, um inteiro de 8 bits (INT8) ocupa metade do espaço de um número fracionário de 16 bits (FP16 ou BF16). Além disso, muitos aceleradores de IA calculam em baixa precisão mais rápido do que em FP16.
Adrian Tam, da Machine Learning Mastery, mostrou isso na prática: da fórmula até checkpoints prontos, inclusive com o TorchAO, biblioteca de quantização dentro do PyTorch.
Como os pesos viram inteiros
O mais simples é pensar em uma régua. A faixa de valores dos pesos é dividida em um número finito de marcas, e cada peso é registrado pelo número da marca mais próxima. Para isso são necessários dois parâmetros: a escala (o intervalo entre marcas vizinhas) e o ponto zero (o número da marca que corresponde ao zero real). Na restauração, o número é convertido de volta em um valor aproximado. A diferença entre o valor original e o restaurado é o erro de arredondamento.
O autor alerta para uma armadilha. O exemplo didático em PyTorch armazena os valores em uint8, e cada um ocupa um byte inteiro, mesmo quando você pediu 4 bits. Para obter economia real, um formato de produção precisa empacotar os valores em menos de um byte. Outro detalhe: uma única escala para o tensor inteiro piora a qualidade. Em LLMs, costumam funcionar melhor os esquemas por canal ou por grupo, nos quais cada linha da matriz ou cada bloco de pesos tem seu próprio intervalo.
O modo weight-only significa que apenas os pesos são comprimidos, enquanto as entradas da camada (as ativações) permanecem em FP16 ou BF16. Um kernel eficiente usa os pesos inteiros diretamente e não reconstrói uma cópia completa da matriz.
TorchAO, GPTQ e AWQ: três formas de obter um modelo comprimido
O caminho mais curto é o TorchAO. A função quantize_() substitui in place os pesos das camadas Linear adequadas em um modelo já treinado. Não é preciso treinar de novo, por isso o método é chamado de quantização pós-treinamento. No exemplo, o autor usa INT8 assimétrico por canal com ativações em BF16. Pela biblioteca transformers, a configuração pode ser aplicada já no carregamento do modelo, por exemplo INT4 com grupo 128. O autor destaca ainda que a escolha explícita do algoritmo HQQ e do empacotamento em tiles permitiu contornar a dependência opcional do kernel MSLK no TorchAO 0.17 em uma RTX 4090 testada. Em outras versões e placas, os layouts disponíveis podem ser diferentes.
O arredondamento simples olha para cada peso isoladamente e não considera o quanto cada canal de entrada influencia a resposta. GPTQ e AWQ usam exemplos de calibração, isto é, um pequeno conjunto de textos típicos. O GPTQ comprime camada por camada e vai corrigindo os pesos ainda não comprimidos para compensar o erro acumulado. No transformers, ele agora funciona com o backend GPT-QModel, e no exemplo a calibração usa o conjunto de dados c4, sendo que o parâmetro sym=False ativa o esquema assimétrico. O AWQ identifica os pesos que são importantes para ativações típicas e ajusta coeficientes que os protegem antes da compressão.
Há também armadilhas. Checkpoints GPTQ assimétricos funcionam com menos kernels: o backend Marlin não os suporta. A implementação de referência do AWQ usa para calibração 128 exemplos do pile-val-backup, com 512 tokens cada, e não é possível escolher outro conjunto de dados pela linha de comando. O arquivo .pt bruto gerado após a quantização não é um checkpoint completo do Hugging Face: ele não contém a configuração do modelo nem o tokenizador, que precisam ser empacotados separadamente.
O que fazer na prática
- Escolha o esquema e o backend juntos. Uma configuração matematicamente correta nem sempre é a mais rápida, e o runtime precisa suportar o formato de empacotamento exato.
- Não calcule a economia pela fórmula. INT8 reduz o armazenamento bruto à metade em relação a FP16 ou BF16, mas o resultado final depende de empacotamento, grupos e escalas.
- Meça o modelo inteiro. A velocidade depende do hardware, dos kernels e das formas das matrizes. Olhe memória, latência e qualidade nas suas próprias tarefas, e não em uma camada isolada.
- Verifique a calibração. O resultado do GPTQ e do AWQ depende de quão parecidos os exemplos são com o tráfego real. Para código, textos jurídicos ou outro idioma, um conjunto de dados genérico pode não servir.
O material também cobre a conversão para o formato GGUF do llama.cpp (é preciso uma cópia compilada do repositório) e a avaliação dos efeitos da quantização. A fonte original, na nossa versão, termina no meio da seção sobre GPTQ, por isso não há números sobre a velocidade final nem sobre a perda de qualidade. Para equipes que calculam o custo de inferência, é uma cola útil. A ordem razoável é: tomar a variante do TorchAO sem calibração como ponto de partida, medir memória, velocidade e qualidade e, onde for preciso mais compressão, testar GPTQ ou AWQ.
- 21 de nov. de 2026O modelo de vídeo AURA 2.0 inicia a conversa sozinho: a resposta soa em 344 ms
- 21 de nov. de 2026Anthropic realizou IPO recorde de US$ 81,3 bi, mas o controle ficou com os fundadores
- 21 de nov. de 2026ONNX Runtime some do GitHub: Microsoft oculta repositórios após comprometimento de pacote
- 21 de nov. de 2026Microsoft vai permitir que empresas ajustem modelos MAI com seus próprios dados no Azure
Perguntas frequentes sobre a notícia
Como os pesos viram inteiros?
O mais simples é pensar em uma régua. A faixa de valores dos pesos é dividida em um número finito de marcas, e cada peso é registrado pelo número da marca mais próxima. Para isso são necessários dois parâmetros: a escala (o intervalo entre marcas vizinhas) e o ponto zero (o número da marca que corresponde ao zero real). Na restauração, o número é convertido de volta em um valor aproximado. A diferença entre o valor original e o restaurado é o erro de arredondamento. O autor alerta para uma armadilha.
O que se sabe sobre TorchAO, GPTQ e AWQ: três formas de obter um modelo comprimido?
O caminho mais curto é o TorchAO. A função quantize_() substitui in place os pesos das camadas Linear adequadas em um modelo já treinado. Não é preciso treinar de novo, por isso o método é chamado de quantização pós-treinamento. No exemplo, o autor usa INT8 assimétrico por canal com ativações em BF16. Pela biblioteca transformers, a configuração pode ser aplicada já no carregamento do modelo, por exemplo INT4 com grupo 128.
O que fazer na prática?
Escolha o esquema e o backend juntos. Uma configuração matematicamente correta nem sempre é a mais rápida, e o runtime precisa suportar o formato de empacotamento exato. Não calcule a economia pela fórmula. INT8 reduz o armazenamento bruto à metade em relação a FP16 ou BF16, mas o resultado final depende de empacotamento, grupos e escalas. Meça o modelo inteiro. A velocidade depende do hardware, dos kernels e das formas das matrizes.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.