BitNet b1.58: como a quantização ternária permite rodar um modelo de 27B sem GPU

Há alguns anos, a ideia de rodar um modelo de 27B parâmetros em um notebook comum, sem GPU, parecia absurda. Entre 2024 e 2025, isso virou realidade graças a uma quantização não convencional: em vez de aproximar os pesos, a rede é construída literalmente sobre dois ou três valores discretos.

O que é a quantização não convencional

A quantização tradicional reduz a precisão dos pesos na escala float32 → INT8 → INT4 → INT2, mas mantém uma faixa numérica contínua. A abordagem não convencional é mais radical: os pesos assumem apenas os valores {-1, 0, 1}, a chamada quantização ternária. A Microsoft Research desenvolveu a família BitNet, na qual cada peso ocupa, em média, 1.58 bit.

• BitNet: arquitetura com pesos de 1 bit no treinamento, proposta pela Microsoft Research em 2023
• BitNet b1.58: versão ternária com pesos {-1, 0, 1}, em média 1.58 bit por parâmetro, publicada em março de 2024
• O Gemma 27B em formato ternário ocupa 6–7 GB e roda em um notebook apenas com CPU
• O llama.cpp suporta formatos GGUF de 1 bit desde março de 2024
• As multiplicações são substituídas por somas e subtrações, sem carga nas unidades de ponto flutuante do processador

Por que isso não é o mesmo que INT4

A quantização INT4 clássica é uma compressão pós-treinamento: o modelo float32 já pronto é "espremido" depois de treinado, e a qualidade cai inevitavelmente, sobretudo em modelos pequenos. A quantização não convencional funciona de outra forma: a rede é treinada desde o início para que os pesos fiquem em posições discretas. Isso muda de forma fundamental o perfil das perdas.

"Um modelo com pesos {-1, 0, 1}, com treinamento adequado, é

comparável ao equivalente em precisão total em perplexity e, ao mesmo tempo, exige de 3 a 5 vezes menos memória RAM", afirma o relatório técnico da Microsoft Research sobre o BitNet b1.58.

Segundo benchmarks abertos, a diferença para a linha de base em float16 em modelos a partir de 7B fica entre 1% e 3% na maioria das tarefas, um preço aceitável para fazer o modelo caber na RAM de um notebook comum.

O que já roda em um notebook hoje

O exemplo mais representativo são modelos da classe 27B em um MacBook com 32 GB de memória unificada ou em um notebook Windows com processador comum, sem GPU dedicada. No Apple M2 Pro, a velocidade de geração de um modelo ternário de 27B é de cerca de 10–15 tokens por segundo, suficiente para a maioria das tarefas práticas.

Um ponto importante: a quantização não convencional funciona melhor em modelos treinados do zero nesse modo. Converter para ternário, depois de pronto, um modelo existente, como o Llama 3, sem uma queda perceptível de qualidade é difícil: é preciso fazer um novo treinamento ou uma destilação por meio de um professor ternário.

O que isso significa

A quantização ternária e de 1 bit desloca a fronteira da acessibilidade: modelos de linguagem completos de 27B ou mais deixam de exigir hardware de servidor. Para cenários corporativos com requisitos de confidencialidade de dados, isso é especialmente relevante, já que a inferência local, sem nuvem, se torna viável técnica e economicamente.

Perguntas frequentes

Como rodar um modelo ternário sem GPU?

Modelos ternários e de 1 bit em formato GGUF rodam no llama.cpp em um processador comum. Para modelos de 7B a 27B, bastam de 16 a 32 GB de memória RAM, e não é preciso GPU.

Qual é a diferença entre o

BitNet b1.58 e a quantização INT4?

O BitNet b1.58 é treinado com pesos ternários desde o início, em vez de recebê-los por meio de compressão pós-treinamento. Isso garante uma qualidade mais previsível e elimina por completo as operações de multiplicação da inferência.