Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Opus reescreveu o código do llama.cpp: Qwen gera texto 40% mais rápido usando só a CPU

Rodar uma rede neural sem placa de vídeo é possível, mas a resposta sai devagar. O autor de um post no Habr pediu à IA Opus que passasse vários dias rodando testes e ajustando o código do motor llama.cpp. O resultado: o modelo Qwen3.8-Flash-Next Gyro, usando apenas a CPU, passou a gerar 2,72 tokens por segundo em vez de 1,97, cerca de 40% mais rápido (um token é uma sílaba ou uma palavra curta). Para um chat em tempo real ainda é lento, mas para tarefas em segundo plano em servidores sem GPU, vale testar os patches.

Processado por IA de Habr AI; editado por Hamidun News
Opus reescreveu o código do llama.cpp: Qwen gera texto 40% mais rápido usando só a CPU
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1A leitura do prompt subiu de 4,12 para 11,21 tokens/s (patch fix37)
Dado-chave #2O patch fix23 deu ×1,23 na geração; o fix37, ×1,40 sobre a versão original
Dado-chave #3Os patches estão em um merge request no GitLab, e o autor pede que os leitores enviem suas medições

Quase toda dica para acelerar redes neurais locais soa igual: compre uma placa de vídeo. Ou então comprima e refine o próprio modelo. Mas o que fazer quando a máquina tem apenas processador e memória RAM?

O autor de um post no Habr decidiu testar isso na prática. Ele pediu à IA Opus que aprimorasse o código do llama.cpp, um motor popular para rodar modelos em hardware próprio.

O resultado: o Qwen3.8-Flash-Next Gyro, sem placa de vídeo, passou a gerar 2,72 tokens por segundo, contra os 1,97 originais. Aqui, um token equivale a mais ou menos uma sílaba ou uma palavra curta, ou seja, a velocidade subiu cerca de 40%.

O resultado é modesto, mas vem com números e código aberto.

O que exatamente foi feito

O modelo de teste foi o Qwen3.8-Flash-Next Gyro no formato GGUF, usado para rodar modelos pelo llama.cpp. O autor não mexeu no modelo: não houve novo treinamento nem compressão. Em vez disso, ele atacou o código do motor. O trabalho principal ficou com o Opus. Durante vários dias, ele rodou testes no computador do autor, procurou os pontos em que o processador desperdiça tempo e propôs alterações no código do llama.cpp.

O resultado foram várias versões de patch. Na tabela, o autor compara duas delas, fix23 e fix37, com a compilação original.

O que as medições mostraram

Foram medidas duas coisas: a velocidade de leitura do prompt (quantos tokens o modelo "lê" por segundo) e a velocidade de geração da resposta. Em cada célula da tabela há dois números. O autor não explicou o que significa o segundo, por isso os dois pares aparecem abaixo.

  • Original: prompt 4,12 / 3,75 tokens/s, geração 1,97 / 1,92.
  • fix23: prompt 10,98 / 10,05, geração 2,41 / 2,38, aceleração de ×1,23.
  • fix37: prompt 11,21 / 14,49, geração 2,72 / 2,73, aceleração de ×1,40.

A leitura do prompt acelerou mais do que a geração: pelos primeiros números, de 4,12 para 11,21 tokens/s, quase o triplo. Para uma CPU, isso é compreensível. O prompt pode ser processado em lotes grandes, enquanto a geração da resposta avança um token por vez e esbarra na velocidade da memória, então espremer ganhos ali é bem mais difícil. O autor também incluiu um gráfico: quanto mais longo o contexto, mais lenta fica a geração. Os patches não eliminam essa dependência.

O que fazer com isso e quais são os limites

Uma velocidade de 2,7 tokens por segundo ainda é baixa para um chat interativo. Já para tarefas em segundo plano, como processamento em lote de textos, em que não há pressa, um ganho desses já é perceptível. São medições feitas em uma única máquina. O post não informa qual processador nem quanta memória o autor usa. Por isso, não dá para prometer a mesma aceleração em outro hardware ou com outro modelo. O próprio autor pergunta se o mesmo ajuste funcionaria com outros modelos e pede que os leitores enviem sua configuração e o ganho obtido após aplicar os patches.

Os patches estão em um merge request no GitLab, no repositório agentionai-group/llama.cpp. Se você roda modelos locais em um servidor sem GPU, pode compilá-los e comparar com o llama.cpp convencional na sua própria carga de trabalho. Além disso, o caso mostra um assistente de IA trabalhando por vários dias em código de baixo nível em hardware real, em vez de escrever um CRUD qualquer.

Há também um detalhe incômodo. A conta com a qual o autor rodava o Opus foi bloqueada. A verificação e o recurso não ajudaram, e o bloqueio é definitivo. Agora ele pergunta à comunidade qual modelo, e em qual harness (a camada que dá ferramentas ao modelo e permite que ele trabalhe de forma autônoma), consegue trabalhar tanto tempo em hardware pessoal quanto o Claude Code. A pergunta é prática: se um projeto depende de um único provedor de nuvem, ele pode ser interrompido a qualquer momento.

A mini-enquete no fim do post mostra como esse nicho é estreito. Votaram três pessoas: duas rodaram LLMs em um computador com placa de vídeo dedicada, uma sem ela, e ninguém usou NPUs especializadas. A amostra é minúscula. Ainda assim, ela lembra que acelerar processadores comuns interessa a um círculo restrito de entusiastas. Para eles, um ganho de 40% já faz diferença.

História

Perguntas frequentes sobre a notícia

O que exatamente foi feito?

O modelo de teste foi o Qwen3.8-Flash-Next Gyro no formato GGUF, usado para rodar modelos pelo llama.cpp. O autor não mexeu no modelo: não houve novo treinamento nem compressão. Em vez disso, ele atacou o código do motor. O trabalho principal ficou com o Opus. Durante vários dias, ele rodou testes no computador do autor, procurou os pontos em que o processador desperdiça tempo e propôs alterações no código do llama.cpp. O resultado foram várias versões de patch.

O que as medições mostraram?

Foram medidas duas coisas: a velocidade de leitura do prompt (quantos tokens o modelo "lê" por segundo) e a velocidade de geração da resposta. Em cada célula da tabela há dois números. O autor não explicou o que significa o segundo, por isso os dois pares aparecem abaixo. Original: prompt 4,12 / 3,75 tokens/s, geração 1,97 / 1,92. fix23: prompt 10,98 / 10,05, geração 2,41 / 2,38, aceleração de ×1,23. fix37: prompt 11,21 / 14,49, geração 2,72 / 2,73, aceleração de ×1,40.

O que fazer com isso e quais são os limites?

Uma velocidade de 2,7 tokens por segundo ainda é baixa para um chat interativo. Já para tarefas em segundo plano, como processamento em lote de textos, em que não há pressa, um ganho desses já é perceptível. São medições feitas em uma única máquina. O post não informa qual processador nem quanta memória o autor usa. Por isso, não dá para prometer a mesma aceleração em outro hardware ou com outro modelo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…