Quantização
Quantização é a técnica de representar os pesos de uma rede neural — e opcionalmente suas ativações — em formatos numéricos de menor precisão, como INT8 ou INT4, em vez do padrão FP16 ou BF16, reduzindo o footprint de memória e acelerando a inferência ao custo de uma pequena degradação de acurácia, geralmente aceitável.
A quantização de redes neurais reduz o número de bits usados para armazenar parâmetros do modelo. Um grande modelo de linguagem padrão armazena pesos em brain-floating-point de 16 bits (BF16), consumindo 2 bytes por parâmetro: um modelo de 70 bilhões de parâmetros requer aproximadamente 140 GB nessa precisão. Quantizar para inteiros de 8 bits (INT8) reduz o uso de memória pela metade, para aproximadamente 70 GB; quantização de 4 bits (INT4 ou NF4) reduz para aproximadamente 35 GB, colocando um modelo 70B ao alcance de um par de GPUs consumer NVIDIA RTX 4090 (cada uma com 24 GB VRAM) ou um único A100 de 80 GB. A redução de memória se traduz diretamente em menores custos de hospedagem e permite implantação em hardware que seria insuficiente de outra forma.
Existem duas metodologias primárias. A quantização pós-treinamento (PTQ) aplica quantização a um modelo já treinado sem atualizações de gradiente adicionais: GPTQ (2022) usa informação de segunda ordem aproximada para minimizar o erro de quantização camada por camada; AWQ (Quantização de Peso Consciente de Ativação, 2023) identifica e protege a pequena fração de pesos que contribuem mais para a magnitude de ativação, preservando acurácia em bit-widths muito baixos sem retreinamento. O treinamento consciente de quantização (QAT) insere quantização simulada no loop de treinamento para que o modelo aprenda a compensar a perda de precisão durante a descida de gradiente, produzindo maior acurácia que PTQ na mesma bit-width ao custo de computação de treinamento adicional. Formatos híbridos como NF4 (4-bit NormalFloat, otimizado para pesos que seguem uma distribuição normal, usado em bitsandbytes) e GGUF (o formato de contêiner usado por llama.cpp para inferência em CPU e CPU/GPU misto) se tornaram os formatos de distribuição dominantes para modelos de peso aberto.
A quantização é o principal habilitador de inferência de LLM local e no dispositivo. Sem ela, até um modelo de 7 bilhões de parâmetros em FP16 requer aproximadamente 14 GB de memória, excedendo a capacidade da maioria das GPUs de laptop e aceleradores móveis. Na escala de cloud, a quantização de pesos INT8 reduz pela metade a demanda de bandwidth de memória durante a fase de decodificação — o gargalo dominante para geração de tokens — aproximadamente dobrando o throughput por GPU. A perda de acurácia é tipicamente negligenciável em INT8 e pequena mas mensurável em INT4 na maioria dos benchmarks; ir para 2-bit ou 1-bit incorre em degradação maior e permanece uma fronteira de pesquisa ativa.
A partir de 2026, a quantização de pesos INT8 é essencialmente universal em implantações de inferência em cloud. A comunidade open-source distribui quase todos os modelos de peso aberto principais — LLaMA 3, Mistral, Qwen 2.5, Gemma 2 — como arquivos GGUF quantizados por padrão no Hugging Face. O framework MLX da Apple aproveita quantização de 4 bits para inferência no dispositivo em Apple Silicon. O BitNet b1.58 (2024) da Microsoft Research demonstrou acurácia competitiva com pesos ternários (−1, 0, +1), e a Qualcomm enviou aceleradores de inferência INT4 dedicados em SoCs móveis. A quantização de KV-cache — quantizar independentemente os tensores de atenção armazenados de FP16 para INT8 ou INT4 — também se tornou prática padrão em pilhas de serving de produção incluindo vLLM e TensorRT-LLM.