Bonsai 2 27B compactado rodou a 17 tokens/s em placa de 2017, e o Qwen3 8B, a 32
Um desenvolvedor queria rodar um modelo local em uma velha placa de mineração com 8 GB de memória e escolheu o Bonsai 2 27B compactado: os 27 bilhões de parâmetros foram reduzidos de 54 para 5,9 GB. O modelo rodou, mas o Qwen3 8B convencional, nos mesmos 8 GB, entregou um resultado quase igual: 36 pontos de 40 contra 35 do Bonsai, e velocidade de 32 tokens por segundo contra 17. O Bonsai exige o fork da PrismML: nem o Ollama nem o llama.cpp comum conseguem lê-lo. Para um assistente doméstico com 8 GB, é mais simples usar um modelo de 8B sem gambiarras.
Processado por IA de Habr AI; editado por Hamidun News
Imagine que você quer montar um assistente local, sem nuvem, no hardware que já está debaixo da mesa: por exemplo, uma velha placa de vídeo de mineração com 8 GB de memória. Um modelo comum da classe de 27 bilhões de parâmetros pesa dezenas de gigabytes e não cabe ali. O estúdio PrismML lançou o Bonsai 2 27B, comprimido para 5,9 GB, e prometeu qualidade quase integral.
O autor de uma análise publicada no Habr testou a promessa em uma NVIDIA P104-100 de mineração, de 2017, com processador i7-3770 sem AVX2, 15,5 GB de RAM e dois smartphones Android baratos. O resultado, do ponto de vista prático: dá para rodar, mas o Qwen3 8B convencional, que já cabe nos 8 GB, funciona quase tão bem e com o dobro da velocidade. A velocidade aqui é medida em tokens por segundo (t/s): um token é um pedaço de palavra, com algumas letras.
Como 27B cabem em 5,9 GB
Um modelo comum armazena cada peso como um número de 16 bits, e os 27B nesse formato pesam cerca de 54 GB. No Bonsai 2, cada peso tem apenas três valores possíveis: −1, 0 e +1 (essa compressão é chamada de ternária). No formato PTQ1_0, são 1,75 bit por peso e 5,9 GB; no formato PQ2_0, 2,13 bits e 7,2 GB. Segundo os desenvolvedores, o modelo preserva 98,2% da qualidade do Qwen3.8-27B original, e a multiplicação é substituída por soma e troca de sinal.
O tamanho também importa para a velocidade: para gerar um único token, a placa lê todos os pesos, então a velocidade costuma ser limitada pela largura de banda da memória, e não pelo cálculo.
Há ainda um detalhe incômodo. Só o fork da PrismML entende os tensores ternários. O Ollama retorna erro ao tentar ler esse arquivo. O llama.cpp padrão é pior: carrega o antigo formato Q2_0 em silêncio, e depois o modelo responde bobagens. Antes da compressão, os pesos são rotacionados por uma matriz de Hadamard para suavizar valores atípicos raros, e os dados de entrada precisam ser rotacionados da mesma forma durante o uso, o que o llama.cpp comum não faz. Dá para fazer o Ollama funcionar com o fork usando patches, mas eles somem na primeira atualização.
O que as medições mostraram
Na P104-100, o Bonsai PTQ1_0 lê o prompt a 93,8 t/s e gera cerca de 17 t/s. Com contexto de 16K tokens, ocupa 7967 MB dos 8191 disponíveis, e com 32K o modelo não inicia, de modo que os 262K oficiais continuam sendo teoria para 8 GB. Em uma RTX 4090, segundo a PrismML, a velocidade é de 81–91 t/s, ou seja, a placa antiga entrega aproximadamente um quinto disso.
O Qwen UD-IQ2_XXS de 2 bits, de mesmo tamanho, lê o prompt seis vezes mais devagar nessa placa (15,7 t/s) e gera 1,6 vez mais devagar (10,8 t/s). Quem define a velocidade são os kernels escritos para um formato específico, e não o número de bits por peso. O processador, sem placa de vídeo, chegou a 0,6 t/s.
O disco influencia apenas a inicialização: 25 segundos com NVMe e 87 com HDD; depois disso a velocidade é quase igual, 16,5 e 17,0 t/s.
Em qualidade, quase não há diferença. Em um conjunto de 40 tarefas curtas, o Bonsai fez 35 pontos e o Qwen3 8B, 36. Código, JSON, busca de um fato em um texto, conhecimento geral e texto em russo saem praticamente sem erros em quase todos os casos.
Só lógica e matemática divergem, e aí o 8B venceu de forma não totalmente justa: o prompt dizia «responda apenas com o número», mas ele detalhou o cálculo passo a passo mesmo assim. Quando o autor ativou o raciocínio no Bonsai, o modelo resolveu as cinco tarefas em vez de três, gastando 63 tokens. Em um conjunto de 20 tarefas difíceis, com conhecimentos raros e contexto de 8K e 16K, o 27B também não mostrou vantagem clara: o 8B fez 8 pontos de 10 a 31,9 t/s, e o Bonsai, 7 de 10 a 16,8 t/s.
O 27B escreveu contos um pouco melhor, 19 pontos de 25 contra 18, mas a amostra de cinco histórias é pequena.
E os celulares?
O TECNO Pouvoir 4 é estritamente 32 bits: as builds Android do fork existem apenas para arm64, e um processo de 32 bits não abre um arquivo de 5,9 GB por causa do limite de endereçamento de 4 GB. Os modelos menores, Bonsai 2B e 4B, tiveram de ser compilados a partir do código-fonte e entregam de 0,6 a 1,4 t/s. No TECNO Pova 5 com 8 GB, o 27B rodou e respondeu corretamente a 5 de 6 perguntas.
Mas um aplicativo em um aparelho de 8 GB tem acesso a cerca de 3–4 GB, então o celular relê os pesos da memória flash a cada token. O resultado é 0,05 t/s, ou seja, cerca de 20 segundos por token. Em um topo de linha com 12–16 GB, o quadro provavelmente é melhor, mas o autor não testou isso.
O que fazer na prática
Para um assistente local com 8 GB, o Qwen3 8B é a opção mais simples: ferramentas padrão, o dobro da velocidade e qualidade comparável. Vale testar o Bonsai se você tem uma placa de 12–16 GB e precisa especificamente da classe 27B, ou se está disposto a viver no fork. O método do autor tem limitações: uma única execução por tarefa, conjuntos pequenos e avaliação subjetiva dos contos.
- 18 de nov. de 2026LLM em VPS sem GPU: modelos de 4B classificam chamados com 90% de acerto em 3–5 s
- 18 de nov. de 2026Qwen em dois DGX Spark fica 34–59% mais rápido em tokens por segundo e supera o GLM
- 18 de nov. de 2026Modelo de linguagem no ESP32-S3 chega a 406 tokens/s, 18 vezes mais rápido
- 18 de nov. de 2026Após uma falha, agentes só revertem o trabalho em 47% dos casos, embora resolvam 84% das tarefas
Perguntas frequentes sobre a notícia
E os celulares?
O TECNO Pouvoir 4 é estritamente 32 bits: as builds Android do fork existem apenas para arm64, e um processo de 32 bits não abre um arquivo de 5,9 GB por causa do limite de endereçamento de 4 GB. Os modelos menores, Bonsai 2B e 4B, tiveram de ser compilados a partir do código-fonte e entregam de 0,6 a 1,4 t/s. No TECNO Pova 5 com 8 GB, o 27B rodou e respondeu corretamente a 5 de 6 perguntas.
Como 27B cabem em 5,9 GB?
Um modelo comum armazena cada peso como um número de 16 bits, e os 27B nesse formato pesam cerca de 54 GB. No Bonsai 2, cada peso tem apenas três valores possíveis: −1, 0 e +1 (essa compressão é chamada de ternária). No formato PTQ1_0, são 1,75 bit por peso e 5,9 GB; no formato PQ2_0, 2,13 bits e 7,2 GB. Segundo os desenvolvedores, o modelo preserva 98,2% da qualidade do Qwen3.8-27B original, e a multiplicação é substituída por soma e troca de sinal.
O que as medições mostraram?
Na P104-100, o Bonsai PTQ1_0 lê o prompt a 93,8 t/s e gera cerca de 17 t/s. Com contexto de 16K tokens, ocupa 7967 MB dos 8191 disponíveis, e com 32K o modelo não inicia, de modo que os 262K oficiais continuam sendo teoria para 8 GB. Em uma RTX 4090, segundo a PrismML, a velocidade é de 81–91 t/s, ou seja, a placa antiga entrega aproximadamente um quinto disso. O Qwen UD-IQ2_XXS de 2 bits, de mesmo tamanho, lê o prompt seis vezes mais devagar nessa placa (15,7 t/s) e gera 1,6 vez mais devagar (10,8 t/s).
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.