Como comprimir um modelo de linguagem em 3x: guia de FP8, GPTQ e SmoothQuant

Uma ferramenta de código aberto llmcompressor permite comprimir modelos de linguagem pré-treinados para um tamanho adequado para uso em produção. Um novo guia prático mostra como aplicar quantização a modelos já ajustados por instruções e escolher o método ideal para seu cenário.

O que é quantização de modelos

Quantização é a redução da precisão dos números com os quais um modelo trabalha. Em vez de números padrão de 16 bits (FP16) ou 32 bits (FP32), um modelo pode trabalhar com valores de 8 bits (int8) ou até 4 bits. Isso torna o modelo menor e mais rápido, mas pode degradar a qualidade das respostas. Existem duas abordagens: treinamento com quantização (QAT) e quantização pós-treinamento (PTQ). A primeira é mais precisa, mas exige retreinamento do modelo em dados. A segunda é mais rápida, simplesmente aplicada a um modelo já pronto logo antes do uso, sem necessidade de retreinamento.

llmcompressor se especializa em PTQ — quantização pós-treinamento. Isso permite que a compressão seja aplicada em questão de horas em vez de semanas de retreinamento. Um engenheiro carrega um modelo pronto no llmcompressor, escolhe um método de quantização e em poucas horas tem uma versão comprimida pronta para uso em hardware mais fraco.

Três métodos de quantização em comparação

O guia testa minuciosamente três abordagens diferentes no mesmo modelo base:

• Quantização dinâmica FP8 — a mais simples, funciona em minutos, não requer calibração em dados adicionais. Todos os números (pesos e ativações) são convertidos para formato de 8 bits. Desvantagem: pior precisão, pode perder até 5% na qualidade das respostas
• GPTQ (W4A16) — comprime apenas os pesos do modelo para 4 bits, ativações permanecem nos 16 bits originais. Requer pequena calibração em uma amostra de dados. Bom equilíbrio entre velocidade e qualidade
• SmoothQuant com GPTQ (W8A8) — a mais precisa das três, pesos e ativações em 8 bits, mas com distribuição inteligente de valores. Mais lento que os outros, requer mais dados para calibração, mas os resultados permanecem próximos ao original com perda inferior a 1%

Cada método foi testado em uma tarefa real — geração de texto com base em consultas de usuários. Mediram tamanho do arquivo no disco, velocidade de geração (latência e throughput), e a "perplexidade" do modelo — uma métrica de como o modelo erra em dados de teste.

Resultados dos benchmarks

O tamanho no disco pode encolher 3-4 vezes. Um modelo de 16 bits ocupa substancialmente mais espaço do que a versão de 8 bits do mesmo modelo. A velocidade de inferência aumenta proporcionalmente à compressão, especialmente perceptível em dispositivos móveis onde a bateria é crítica. A precisão depende do método escolhido. FP8 perde até 5% na qualidade das respostas, SmoothQuant — menos de 1%. Para cenários de produção onde cada percentual de precisão é crítico, SmoothQuant é escolhido, mesmo que seja mais lento. Para geração de ideias, rascunhos e tarefas auxiliares, FP8 é adequado e a economia de computação justifica a perda de qualidade.

A conclusão prática do guia: se você precisa de velocidade e baixos custos — escolha FP8. Se a precisão é crítica e você está disposto a gastar mais tempo em inferência — SmoothQuant.

Quem precisa disso

Esta ferramenta e abordagem são úteis para empresas que desejam executar seu modelo de linguagem em produção:

— na borda (no dispositivo do usuário) sem enviar dados para a nuvem — em uma nuvem privada com hardware e orçamento limitados — em escala: quanto menor o modelo, mais barato o processamento em lote e as contas na nuvem

Startups e a indústria corporativa já estão usando ativamente quantização. Meta lançou Llama 2 com suporte oficial a quantização int8. Hugging Face lançou bitsandbytes — uma biblioteca que simplifica a quantização para engenheiros. Agora llmcompressor permite fazer isso com controle refinado sobre o método.

O que isso significa

Quantização está transitando da categoria de experimentos para uma ferramenta padrão de pipeline de ML. Este é o fechamento da última milha — ferramentas como llmcompressor permitem que um engenheiro escolha um compromisso entre tamanho, velocidade e qualidade em horas em vez de semanas de experimentação. Para toda a indústria isso significa: grandes modelos de linguagem ficam mais acessíveis, mais baratos de operar e mais seguros em termos de privacidade, porque você pode executá-los localmente sem a nuvem.