Como reduzir um modelo de linguagem em 3 vezes: guia de FP8, GPTQ e SmoothQuant

A ferramenta de código aberto llmcompressor permite comprimir modelos de linguagem pré-treinados até um tamanho adequado para uso em produção. Um novo guia prático mostra como aplicar a quantização a modelos já ajustados para instruções e como escolher o método ideal para cada cenário.

O que é a quantização de modelos

A quantização reduz a precisão dos números com que o modelo trabalha. Em vez dos números usuais de 16 bits (FP16) ou 32 bits (FP32), o modelo pode operar com valores de 8 bits (int8) ou até de 4 bits. Isso deixa o modelo menor e mais rápido, mas pode piorar a qualidade das respostas.

Existem duas abordagens: quantização durante o treinamento (QAT) e quantização pós-treinamento (PTQ). A primeira é mais precisa, mas exige retreinar o modelo com dados. A segunda é mais rápida: é aplicada a um modelo já pronto logo antes do uso, sem necessidade de retreinamento.

O llmcompressor é especializado em PTQ, a quantização pós-treinamento. Isso permite aplicar a compressão em questão de horas, em vez de semanas de retreinamento. O engenheiro carrega um modelo pronto no llmcompressor, escolhe um método de quantização e, algumas horas depois, tem uma versão comprimida pronta para rodar em hardware modesto.

Três métodos de quantização comparados

O guia testa em detalhe três abordagens diferentes sobre o mesmo modelo base:

• Quantização dinâmica FP8 — a mais simples, roda em minutos e não exige calibração com dados adicionais. Todos os números (pesos e ativações) são convertidos para um formato de 8 bits. Desvantagem: a menor precisão, com perda de até 5% na qualidade das respostas.
• GPTQ (W4A16) — comprime apenas os pesos do modelo para 4 bits, enquanto as ativações permanecem nos 16 bits originais. Exige uma pequena calibração com uma amostra de dados. Bom equilíbrio entre velocidade e qualidade.
• SmoothQuant com GPTQ (W8A8) — a mais precisa das três, com pesos e ativações em 8 bits, mas com uma redistribuição inteligente dos valores. É mais lenta que as outras e precisa de mais dados de calibração, mas os resultados ficam próximos do original, com perda de menos de 1%.

Cada método foi testado em uma tarefa real: geração de texto a partir de consultas de usuários. Foram medidos o tamanho do arquivo em disco, a velocidade de geração (latência e throughput) e a perplexidade (perplexity) do modelo, uma métrica de quanto ele erra nos dados de teste.

Resultados dos benchmarks

O tamanho em disco pode cair de 3 a 4 vezes. Um modelo de 16 bits ocupa bem mais espaço que a versão de 8 bits do mesmo modelo. A velocidade de inferência aumenta em proporção à compressão, principalmente em dispositivos móveis, onde a bateria é crítica.

A precisão depende do método escolhido. O FP8 perde até 5% na qualidade das respostas; o SmoothQuant, menos de 1%. Em cenários de produção em que cada ponto percentual de precisão importa, escolhe-se o SmoothQuant, mesmo que seja mais lento. O FP8 serve para gerar ideias, rascunhos e tarefas auxiliares, em que a economia de computação compensa a perda de qualidade.

A conclusão prática do guia: se você precisa de velocidade e custos baixos, escolha FP8. Se a precisão é crítica e você aceita gastar mais tempo na inferência, escolha SmoothQuant.

Para quem é

A ferramenta e a abordagem são úteis para empresas que querem colocar seu próprio modelo de linguagem em produção:

• no edge (no dispositivo do usuário), sem enviar dados para a nuvem
• em nuvem privada, com hardware e orçamento limitados
• em escala: quanto menor o modelo, mais barato o processamento em lote e as contas de nuvem

Startups e grandes empresas já usam a quantização ativamente. A Meta* lançou o Llama 2 com suporte oficial à quantização int8. A Hugging Face lançou o bitsandbytes, biblioteca que simplifica a quantização para engenheiros. Agora o llmcompressor permite fazer isso com controle preciso sobre o método.

O que isso significa

A quantização deixa de ser experimento e vira ferramenta padrão do pipeline de ML. Ela fecha a última milha: ferramentas como o llmcompressor permitem ao engenheiro escolher o equilíbrio entre tamanho, velocidade e qualidade em horas, em vez de semanas de experimentos. Para toda a indústria, isso significa que os grandes modelos de linguagem ficam mais acessíveis, mais baratos de operar e mais seguros em termos de privacidade, porque podem rodar localmente, sem a nuvem.

*A Meta é considerada uma organização extremista e está proibida na Rússia.