Bonsai 27B, da PrismML: Qwen3-27B roda em um smartphone pela primeira vez

A startup PrismML, fundada por pesquisadores do Instituto de Tecnologia da Califórnia (Caltech), apresentou o Bonsai 27B, o primeiro modelo de linguagem de 27 bilhões de parâmetros do mundo a rodar com sucesso em um smartphone. A tecnologia se baseia em pesos de 1 bit e ternários, que permitem comprimir o Qwen3.6-27B em 9.4 a 14.2 vezes e manter 90–95% da qualidade original.

Como funciona o Bonsai 27B

O Bonsai 27B não é uma arquitetura nova, e sim uma versão extremamente otimizada do modelo aberto Qwen3.6-27B, da Alibaba. A PrismML lançou duas variantes, com graus diferentes de quantização: a ternária (os pesos assumem os valores –1, 0 ou +1) e a binária (apenas –1 e +1). O método se chama quantização pós-treinamento: os pesos originais são comprimidos depois do treinamento, sem a necessidade de treinar o modelo do zero.

Os parâmetros concretos das duas versões:

• Versão ternária: 5.9 GB, velocidade de cerca de 26 tokens por segundo em um notebook comum
• Versão de 1 bit (binária): 3.9 GB, cabe na RAM de um smartphone
• Taxa de compressão dos pesos: 9.4 a 14.2 vezes em relação ao original
• Qualidade preservada: 90–95% do Qwen3.6-27B completo
• Desenvolvedora: PrismML (fundada por pesquisadores do Caltech)

O Qwen3.6-27B original em formato fp16 pesa mais de 50 GB e exige uma GPU de servidor. O Bonsai 27B na variante de 1 bit é 13 vezes menor.

Por que os pesos de 1 bit mudam as regras do jogo

Em modelos de linguagem convencionais, cada parâmetro é armazenado em 16 ou 32 bits. Com a representação de 1 bit, o "peso" passa a ser literalmente zero ou um. Isso reduz drasticamente o uso de memória e acelera a inferência em dispositivos sem GPU especializada.

Segundo a publicação da PrismML, foi essa abordagem que permitiu rodar o modelo em um smartphone comum, sem conexão com a nuvem. Um ano atrás, isso ainda era considerado inviável para modelos na escala de 27 bilhões de parâmetros. Até então, os LLMs móveis se limitavam a modelos de 1 a 7 bilhões de parâmetros, como o Gemma 2B, do Google, e o Phi-3.5-mini, da Microsoft.

"O

Bonsai 27B mostra que a fronteira entre a computação em nuvem e a computação na borda (edge) está se apagando rapidamente", diz o anúncio oficial da PrismML.

As duas variantes do modelo estão disponíveis publicamente no Hugging Face, e os desenvolvedores já podem experimentá-las.

O que isso significa

Rodar um modelo de 27 bilhões de parâmetros em um smartphone é um marco tecnológico importante: modelos de linguagem poderosos poderão funcionar em bilhões de dispositivos já existentes, sem infraestrutura em nuvem, com privacidade total dos dados e em modo offline. Com esse resultado, a PrismML mostrou que a quantização de 1 bit deixou de ser uma ideia acadêmica e virou uma ferramenta prática.

Perguntas frequentes

É possível rodar o Bonsai 27B em um iPhone ou Android?

A versão de 1 bit, com 3.9 GB, roda em um smartphone comum sem conexão com a nuvem. Foi exatamente isso que a PrismML demonstrou em seu anúncio.

Qual é a diferença entre o Bonsai 27B e o Qwen3.6-27B?

O Bonsai 27B é o Qwen3.6-27B com pesos extremamente comprimidos. A PrismML aplicou quantização de 1 bit e ternária, reduzindo o tamanho do modelo em 9.4 a 14.2 vezes e mantendo 90–95% da qualidade do original.