ThinkBit comprime o Qwen3-14B para 3,74 GB e mantém 94,8 no MATH-500

A compressão de LLMs em dois bits já há algum tempo consegue parecer boa no papel: a perplexidade quase não sobe, e os testes de múltipla escolha são resolvidos. Mesmo assim, esses modelos muitas vezes perdem a capacidade de raciocinar. A equipe do ThinkBit, cujo artigo está vinculado à organização Microsoft no Hugging Face, atacou o problema pelo lado oposto e construiu o método pensando em cadeias longas de raciocínio. No Qwen3-14B, o resultado é este: um arquivo de 3,74 GB marca 94,8 no MATH-500, enquanto o original em bfloat16, de 29,5 GB, marca 97,5. A diferença de tamanho é de quase oito vezes; na qualidade, é de menos de três pontos.

Por que o raciocínio quebra primeiro

Modelos de raciocínio produzem milhares de tokens a cada resposta. Aqui, a velocidade de geração é limitada não pelo cálculo, mas pela largura de banda da memória: a cada token, é preciso ler todos os pesos. Armazená-los em dois bits em vez de dezesseis significa, potencialmente, reduzir o custo de inferência em 8 vezes. Só que as métricas usuais para avaliar métodos de dois bits, perplexidade e QA de múltipla escolha, dizem pouco sobre a capacidade do modelo de sobreviver a uma tarefa complexa de vários passos. Um pequeno erro nos pesos se acumula ao longo de uma cadeia longa de tokens, e a resposta final se desvia.

O ThinkBit permanece estritamente escalar. Cada peso é representado como um codeword inteiro multiplicado por uma escala em bfloat16, compartilhada por um grupo de pesos. Não há quantização vetorial com codebooks grandes, o que torna o formato mais simples de implementar em runtimes.

Quatro etapas e um árbitro final

O pipeline é sequencial, e cada estágio tem um papel próprio:

• Alocação de bits. Uma métrica de sensibilidade atribui cada camada a um de três tiers: ternário, 2 bits ou 3 bits. As camadas críticas recebem mais bits; as mais robustas, menos.
• Busca de codewords. Um algoritmo camada a camada, baseado em Gumbel-softmax, procura os codewords ideais bloco a bloco.
• Recalibração das escalas. O esquema camada a camada não enxerga como as camadas quantizadas se influenciam. Por isso, os codewords são congelados, e as escalas são ajustadas pela loss com base em destilação de conhecimento a partir de um modelo professor.
• QAT curto. O treinamento com consciência de quantização permite que o modelo reproduza a distribuição do modelo base por meio da reatribuição de codewords.
• Seleção do checkpoint. Um teste pareado de raciocínio em tarefas de treino decide o que manter: o resultado da recalibração ou o do QAT. A escolha se baseia na capacidade de raciocinar, não na perplexidade.

O último passo é o mais incomum. O QAT nem sempre melhora o raciocínio, e os autores verificam isso diretamente, em vez de presumir.

Os números no Qwen3-1.7B e no Qwen3-14B

No Qwen3-1.7B, com tamanho comparável, o checkpoint recalibrado do ThinkBit marca 46,7 no MATH-500. O EfficientQAT, com os mesmos dados, faz 30,0. Depois do QAT em traços de raciocínio, o resultado sobe para 73,0. O arquivo ocupa 0,52 GB. Ele é menor que qualquer GGUF de 2 bits publicado para esse modelo e mais preciso que ele no MATH-500.

Lista completa das métricas apresentadas:

• Qwen3-1.7B, recalibração do ThinkBit: 46,7 no MATH-500
• Qwen3-1.7B, EfficientQAT com os mesmos dados: 30,0
• Qwen3-1.7B, ThinkBit após QAT em traços de raciocínio: 73,0
• Tamanho do Qwen3-1.7B no ThinkBit: 0,52 GB, menor que todos os GGUF de 2 bits publicados
• Qwen3-14B, ThinkBit: 3,74 GB, 94,8 no MATH-500
• Qwen3-14B, bfloat16: 29,5 GB, 97,5 no MATH-500

A compressão real do modelo de 14B é de aproximadamente 7,9 vezes, próxima do teto teórico de 8 vezes para a passagem de 16 para 2 bits. O método escala de 1,7B a 14B sem perder a lógica geral.

O que ganha quem roda os modelos por conta própria

Um modelo com raciocínio forte e 3,74 GB cabe em uma placa de vídeo de 8 GB, com folga para o KV-cache. Antes, esse tipo de tarefa exigia placas de 24–32 GB. Para execução local e para serviços com geração longa, isso é economia direta: menos memória por réplica, mais réplicas na mesma placa e maior vazão.

Ao avaliar seus próprios modelos quantizados, vale incluir no conjunto de testes tarefas de raciocínio como o MATH-500 e comparar mais do que a perplexidade. Os resultados do 1,7B mostram como as métricas divergem com facilidade: a diferença entre 30,0 e 46,7 em tamanhos semelhantes provavelmente não apareceria na perplexidade. Por enquanto, nenhum modelo, dataset ou Space está vinculado ao artigo, então será preciso reproduzir os resultados a partir da descrição do método.