Opus reescreveu o código do llama.cpp: Qwen gera texto 40% mais rápido usando só a CPU
Rodar uma rede neural sem placa de vídeo é possível, mas a resposta sai devagar. O autor de um post no Habr pediu à IA Opus que passasse vários dias rodando testes e ajustando o código do motor llama.cpp. O resultado: o modelo Qwen3.8-Flash-Next Gyro, usando apenas a CPU, passou a gerar 2,72 tokens por segundo em vez de 1,97, cerca de 40% mais rápido (um token é uma sílaba ou uma palavra curta). Para um chat em tempo real ainda é lento, mas para tarefas em segundo plano em servidores sem GPU, vale testar os patches.
Processado por IA de Habr AI; editado por Hamidun News
Quase toda dica para acelerar redes neurais locais soa igual: compre uma placa de vídeo. Ou então comprima e refine o próprio modelo. Mas o que fazer quando a máquina tem apenas processador e memória RAM?
O autor de um post no Habr decidiu testar isso na prática. Ele pediu à IA Opus que aprimorasse o código do llama.cpp, um motor popular para rodar modelos em hardware próprio.
O resultado: o Qwen3.8-Flash-Next Gyro, sem placa de vídeo, passou a gerar 2,72 tokens por segundo, contra os 1,97 originais. Aqui, um token equivale a mais ou menos uma sílaba ou uma palavra curta, ou seja, a velocidade subiu cerca de 40%.
O resultado é modesto, mas vem com números e código aberto.
O que exatamente foi feito
O modelo de teste foi o Qwen3.8-Flash-Next Gyro no formato GGUF, usado para rodar modelos pelo llama.cpp. O autor não mexeu no modelo: não houve novo treinamento nem compressão. Em vez disso, ele atacou o código do motor. O trabalho principal ficou com o Opus. Durante vários dias, ele rodou testes no computador do autor, procurou os pontos em que o processador desperdiça tempo e propôs alterações no código do llama.cpp.
O resultado foram várias versões de patch. Na tabela, o autor compara duas delas, fix23 e fix37, com a compilação original.
O que as medições mostraram
Foram medidas duas coisas: a velocidade de leitura do prompt (quantos tokens o modelo "lê" por segundo) e a velocidade de geração da resposta. Em cada célula da tabela há dois números. O autor não explicou o que significa o segundo, por isso os dois pares aparecem abaixo.
- Original: prompt 4,12 / 3,75 tokens/s, geração 1,97 / 1,92.
- fix23: prompt 10,98 / 10,05, geração 2,41 / 2,38, aceleração de ×1,23.
- fix37: prompt 11,21 / 14,49, geração 2,72 / 2,73, aceleração de ×1,40.
A leitura do prompt acelerou mais do que a geração: pelos primeiros números, de 4,12 para 11,21 tokens/s, quase o triplo. Para uma CPU, isso é compreensível. O prompt pode ser processado em lotes grandes, enquanto a geração da resposta avança um token por vez e esbarra na velocidade da memória, então espremer ganhos ali é bem mais difícil. O autor também incluiu um gráfico: quanto mais longo o contexto, mais lenta fica a geração. Os patches não eliminam essa dependência.
O que fazer com isso e quais são os limites
Uma velocidade de 2,7 tokens por segundo ainda é baixa para um chat interativo. Já para tarefas em segundo plano, como processamento em lote de textos, em que não há pressa, um ganho desses já é perceptível. São medições feitas em uma única máquina. O post não informa qual processador nem quanta memória o autor usa. Por isso, não dá para prometer a mesma aceleração em outro hardware ou com outro modelo. O próprio autor pergunta se o mesmo ajuste funcionaria com outros modelos e pede que os leitores enviem sua configuração e o ganho obtido após aplicar os patches.
Os patches estão em um merge request no GitLab, no repositório agentionai-group/llama.cpp. Se você roda modelos locais em um servidor sem GPU, pode compilá-los e comparar com o llama.cpp convencional na sua própria carga de trabalho. Além disso, o caso mostra um assistente de IA trabalhando por vários dias em código de baixo nível em hardware real, em vez de escrever um CRUD qualquer.
Há também um detalhe incômodo. A conta com a qual o autor rodava o Opus foi bloqueada. A verificação e o recurso não ajudaram, e o bloqueio é definitivo. Agora ele pergunta à comunidade qual modelo, e em qual harness (a camada que dá ferramentas ao modelo e permite que ele trabalhe de forma autônoma), consegue trabalhar tanto tempo em hardware pessoal quanto o Claude Code. A pergunta é prática: se um projeto depende de um único provedor de nuvem, ele pode ser interrompido a qualquer momento.
A mini-enquete no fim do post mostra como esse nicho é estreito. Votaram três pessoas: duas rodaram LLMs em um computador com placa de vídeo dedicada, uma sem ela, e ninguém usou NPUs especializadas. A amostra é minúscula. Ainda assim, ela lembra que acelerar processadores comuns interessa a um círculo restrito de entusiastas. Para eles, um ganho de 40% já faz diferença.
- 21 de nov. de 2026MiniMax H3 Image no ComfyUI: três ajustes eliminam a pele "crocante" sem trocar de modelo
- 21 de nov. de 2026llama.cpp 1.0: interface estável, 35 funções removidas e cache para modelos MoE grandes
- 21 de nov. de 2026Gemma 4 no mini-PC gera 63 tokens por segundo, Qwen3.8 apenas 12,8: teste de 14 LLMs
- 21 de nov. de 2026Jensen Huang deixa a NVIDIA após 33 anos, e a diretora financeira Colette Kress assume como CEO interina
Perguntas frequentes sobre a notícia
O que exatamente foi feito?
O modelo de teste foi o Qwen3.8-Flash-Next Gyro no formato GGUF, usado para rodar modelos pelo llama.cpp. O autor não mexeu no modelo: não houve novo treinamento nem compressão. Em vez disso, ele atacou o código do motor. O trabalho principal ficou com o Opus. Durante vários dias, ele rodou testes no computador do autor, procurou os pontos em que o processador desperdiça tempo e propôs alterações no código do llama.cpp. O resultado foram várias versões de patch.
O que as medições mostraram?
Foram medidas duas coisas: a velocidade de leitura do prompt (quantos tokens o modelo "lê" por segundo) e a velocidade de geração da resposta. Em cada célula da tabela há dois números. O autor não explicou o que significa o segundo, por isso os dois pares aparecem abaixo. Original: prompt 4,12 / 3,75 tokens/s, geração 1,97 / 1,92. fix23: prompt 10,98 / 10,05, geração 2,41 / 2,38, aceleração de ×1,23. fix37: prompt 11,21 / 14,49, geração 2,72 / 2,73, aceleração de ×1,40.
O que fazer com isso e quais são os limites?
Uma velocidade de 2,7 tokens por segundo ainda é baixa para um chat interativo. Já para tarefas em segundo plano, como processamento em lote de textos, em que não há pressa, um ganho desses já é perceptível. São medições feitas em uma única máquina. O post não informa qual processador nem quanta memória o autor usa. Por isso, não dá para prometer a mesma aceleração em outro hardware ou com outro modelo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.