Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarX: @simplifyinAI→ original

Microsoft lança modelo de 100 bilhões de parâmetros em uma única CPU: respostas até 6,17 vezes mais rápidas

A Microsoft liberou o bitnet.cpp, um framework de código aberto que executa modelos de linguagem em um processador comum, sem placa de vídeo. O segredo está nos modelos de 1 bit: cada peso vale apenas −1, 0 ou +1, então a multiplicação pesada é substituída por soma. As respostas saem até 6,17 vezes mais rápido, e o consumo de energia cai em até 82,2%. Para assistentes locais sem GPU, isso é uma oportunidade, mas o modelo precisa ser treinado já no formato de 1 bit.

Processado por IA de X: @simplifyinAI; editado por Hamidun News
Microsoft lança modelo de 100 bilhões de parâmetros em uma única CPU: respostas até 6,17 vezes mais rápidas
Fonte: X: @simplifyinAI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @simplifyinAI ↗
Editor-chefe
Dado-chave #1Modelo de 100 bilhões de parâmetros roda em uma única CPU: 5–7 tokens por segundo
Em chips ARM o ganho é menoraceleração de 1,37–5,07 vezes
Dado-chave #3O código é aberto, mas ainda não há modelos de 100B prontos no formato de 1 bit

Para rodar um grande modelo de linguagem localmente, normalmente é preciso comprar uma placa de vídeo cara, com muita memória. A Microsoft apresentou outro caminho: o framework de código aberto bitnet.cpp executa modelos em uma CPU (unidade central de processamento) comum, a mesma que está em um notebook ou servidor.

Segundo a empresa, é possível rodar até um modelo de 100 bilhões de parâmetros (100B), ou seja, com cem bilhões de configurações internas que determinam como ele "pensa". A velocidade de inferência, isto é, de geração da resposta, chega a 6,17 vezes mais que em implementações convencionais, e o consumo de eletricidade do processador cai até 82,2%. Tudo isso funciona apenas com modelos especiais, de 1 bit, e a seguir explicamos o que isso significa.

Como funciona, em termos simples

Em uma rede neural comum, cada peso é um número de ponto flutuante que ocupa 16 bits. Para gerar uma resposta, o processador multiplica bilhões desses números. Isso é pesado e consome muita energia.

Nos modelos da família BitNet, cada peso pode assumir apenas um de três valores: −1, 0 ou +1. Formalmente, isso equivale a cerca de 1,58 bit por peso, por isso são chamados de modelos de 1 bit. Imagine um contador que, em vez de multiplicar somas complexas, só precisa somar, subtrair ou pular um valor. Ele trabalha mais rápido e gasta muito menos papel, ou seja, memória.

O bitnet.cpp é um conjunto de núcleos otimizados para essa aritmética. Há versões separadas para x86 (processadores Intel e AMD) e para ARM (chips da Apple e smartphones).

O que os números mostram

Segundo a Microsoft, em processadores x86 a inferência acelera de 2,37 a 6,17 vezes em comparação com implementações convencionais, e o consumo de energia cai de 71,9% a 82,2%. Em ARM o ganho é menor: aceleração de 1,37 a 5,07 vezes e economia de energia de 55,4% a 70%. A publicação que circulou nas redes sociais citou apenas os máximos: "até 6,17 vezes" e "até 82,2%". O resultado real depende do processador e do tamanho do modelo.

O número mais chamativo é o modelo de 100 bilhões de parâmetros rodando em uma única CPU. De acordo com a descrição do projeto, a velocidade nesse caso é de 5 a 7 tokens por segundo, algo próximo da velocidade de leitura de uma pessoa. Para um chat ou um assistente local, em que ninguém precisa de respostas em milissegundos, isso é suficiente.

Quais são as limitações

Aqui é preciso uma ressalva importante. O formato de 1 bit não pode ser aplicado a qualquer modelo pronto, como Llama ou Qwen: se você comprimir um modelo a esse ponto depois do treinamento, a qualidade cai muito. O modelo precisa ser treinado desde o início com a restrição sobre os pesos, como o BitNet b1.58. Esses modelos existem, mas são pequenos: por exemplo, o BitNet b1.58 2B4T, com 2 bilhões de parâmetros.

A demonstração com 100B, até onde se sabe, foi feita com um modelo na arquitetura adequada, e não com um modelo já treinado e pronto para uso. Ainda não existe um modelo de 1 bit desse tamanho, com qualidade comparável aos melhores LLMs abertos. Ou seja, o bitnet.cpp mostra que a infraestrutura está pronta, mas os grandes modelos "inteligentes" para ela ainda precisam ser treinados.

O que os desenvolvedores podem fazer

Se você desenvolve assistentes locais, aplicações offline ou funcionalidades de IA embarcadas em dispositivos sem GPU, vale testar o bitnet.cpp com os pequenos modelos BitNet e medir velocidade e qualidade no seu próprio hardware.

Se você calcula os custos de inferência na nuvem, vale acompanhar essa linha. Quando grandes laboratórios começarem a lançar modelos de 1 bit, parte das tarefas poderá migrar de clusters com GPU para servidores comuns. Por enquanto, porém, trata-se de uma tecnologia promissora, e não de um substituto pronto para os modelos atuais.

História

Perguntas frequentes sobre a notícia

Como funciona, em termos simples?

Em uma rede neural comum, cada peso é um número de ponto flutuante que ocupa 16 bits. Para gerar uma resposta, o processador multiplica bilhões desses números. Isso é pesado e consome muita energia. Nos modelos da família BitNet, cada peso pode assumir apenas um de três valores: −1, 0 ou +1. Formalmente, isso equivale a cerca de 1,58 bit por peso, por isso são chamados de modelos de 1 bit. Imagine um contador que, em vez de multiplicar somas complexas, só precisa somar, subtrair ou pular um valor.

O que os números mostram?

Segundo a Microsoft, em processadores x86 a inferência acelera de 2,37 a 6,17 vezes em comparação com implementações convencionais, e o consumo de energia cai de 71,9% a 82,2%. Em ARM o ganho é menor: aceleração de 1,37 a 5,07 vezes e economia de energia de 55,4% a 70%. A publicação que circulou nas redes sociais citou apenas os máximos: "até 6,17 vezes" e "até 82,2%". O resultado real depende do processador e do tamanho do modelo.

O que se sabe sobre Quais são as limitações?

Aqui é preciso uma ressalva importante. O formato de 1 bit não pode ser aplicado a qualquer modelo pronto, como Llama ou Qwen: se você comprimir um modelo a esse ponto depois do treinamento, a qualidade cai muito. O modelo precisa ser treinado desde o início com a restrição sobre os pesos, como o BitNet b1.58. Esses modelos existem, mas são pequenos: por exemplo, o BitNet b1.58 2B4T, com 2 bilhões de parâmetros.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…