Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Análise do llama.cpp: quais flags de threads, contexto e batches afetam a velocidade

Um autor do Habr analisou os parâmetros comuns do llama.cpp, que são iguais para llama-cli, llama-completion e llama-server, e comentou cada flag. Por exemplo, por padrão o batch é de 2048 tokens e o micro-batch físico é de 512; o contexto é retirado do próprio modelo, e as threads são escolhidas automaticamente. Parte das flags, como a afinidade de núcleos e a prioridade, quase não altera a velocidade, enquanto contexto e batches afetam diretamente a memória. Por isso, a configuração deve começar por eles.

Processado por IA de Habr AI; editado por Hamidun News
Análise do llama.cpp: quais flags de threads, contexto e batches afetam a velocidade
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1--threads -1 escolhe as threads automaticamente; threads excedentes podem desacelerar a geração
Dado-chave #2--keep preserva o início da conversa, como o prompt de sistema, quando o contexto é deslocado
Dado-chave #3--flash-attn é necessário para quantizar o cache V, e o padrão é auto

Rodar modelos localmente com o llama.cpp é simples, enquanto tudo funciona com as configurações padrão. Quando é preciso extrair mais velocidade ou caber o modelo na memória, começa a leitura de uma ajuda com cerca de cem flags. Um autor do Habr reuniu a primeira parte dessa ajuda: os parâmetros comuns (Common Params), que funcionam praticamente da mesma forma em llama-cli, llama-completion e llama-server. Para cada flag, ele traz a descrição original da ajuda oficial e acrescenta seu próprio comentário. A verificação foi feita na versão 0.8.0-dev (build 12014), em Linux x86_64, com data de validação em 15 de novembro de 2026.

Flags de serviço e cache

O início da ajuda trata de comandos auxiliares. -h, --help, --usage exibe todos os parâmetros com seus valores padrão e variáveis de ambiente. --version mostra a versão e os dados da build; com eles, é possível verificar se há suporte a CUDA. --license lista as licenças do llama.cpp e de suas dependências, mas nas versões mais recentes essa flag já não existe. -cl, --cache-list mostra os modelos no cache de disco. Eles só entram nesse cache quando são baixados via -mu, --model-url; se você conectar os arquivos por caminho direto, a lista ficará vazia. --completion-bash imprime o script de autocompletar para o terminal, e depois disso as flags passam a ser completadas com TAB.

Threads, núcleos e prioridades da CPU

O maior bloco trata do processador. -t, --threads define o número de threads para a geração; o padrão é -1 (escolha automática). O autor alerta que a geração é limitada pela largura de banda da memória, por isso, a partir de certo número de threads, o ganho desaparece e threads extras podem até desacelerar o processo.

Há a opinião de que, em Ryzen, é melhor indicar os núcleos físicos e, em Intel, os lógicos, mas isso precisa ser testado no seu próprio hardware. -tb, --threads-batch é responsável pelo processamento do prompt de entrada (prefill). Essa etapa escala bem com as threads, então aqui um número maior é o ideal.

Se a flag não for definida, será usado o valor de --threads.

Em seguida vem o ajuste fino de posicionamento. -C, --cpu-mask vincula a execução a núcleos por meio de uma máscara hexadecimal (por exemplo, 0xF — núcleos 0 a 3). -Cr, --cpu-range faz o mesmo em formato mais familiar, como 0-7.

--cpu-strict fixa as threads aos núcleos de forma rígida. Em teoria, isso reduz latências e aproveita melhor o cache, mas, na prática, a diferença costuma ser pequena. Também pode haver prejuízo: se outro processo ocupar um núcleo fixado, a thread espera em vez de migrar para um núcleo livre.

--prio define a prioridade do processo, de low (-1) até realtime (3). A melhor escolha para a maioria das tarefas é 0, já que realtime pode deixar o próprio sistema visivelmente mais lento. Para os valores de 1 a 3, pode ser necessário ter privilégios de administrador; caso contrário, o llama.

cpp ignora a flag. --poll (de 0 a 100, padrão 50) determina por quanto tempo a thread espera ativamente por um novo trabalho. Com valor zero, a carga diminui; com cem, o despertar fica mais rápido, mas a diferença é da ordem de milissegundos por token.

Todos esses parâmetros têm versões para batch: --cpu-mask-batch, --cpu-range-batch, --cpu-strict-batch, --prio-batch e --poll-batch. Eles funcionam da mesma forma, mas apenas para o prefill, e, por padrão, herdam os valores das flags principais.

Contexto, batches e memória

Para a prática, este é o bloco mais importante. -c, --ctx-size define o tamanho do contexto. O padrão é 0 (o valor é retirado do modelo), mas, em chats curtos e chamadas de ferramentas, reduzir esse tamanho compensa para economizar memória. -n, --predict limita o número de novos tokens; o padrão é -1 (até o token de finalização). No llama-completion, existe ainda o valor -2, que faz a geração continuar até o contexto ser preenchido.

-b, --batch-size (padrão 2048) define o tamanho lógico do batch, em que o prefill longo é dividido. -ub, --ubatch-size (padrão 512) determina o micro-batch físico, que de fato é enviado à CPU ou à GPU. Ele não pode ser maior que o lógico.

--keep preserva os primeiros N tokens, como o prompt de sistema, quando o contexto está cheio e o llama.cpp começa a deslocar a janela. O valor -1 mantém o prompt original inteiro.

--swa-full ativa o cache completo para modelos com janela de atenção deslizante, como Gemma 2 e 3. Em teoria, a qualidade e a compatibilidade melhoram, mas a memória necessária aumenta de forma considerável. -fa, --flash-attn (on/off/auto, padrão auto) acelera o cálculo da atenção e economiza memória.

Ele deve ser ativado ao quantizar o cache V e, de preferência, também ao quantizar o cache K.

Prompts e opções auxiliares

-p, --prompt define a primeira mensagem do usuário (a mensagem de sistema é definida à parte, via -sys). -f, --file lê o prompt de um arquivo, e -bf, --binary-file o lê byte a byte, sem conversões, o que raramente é necessário. --perf e --no-perf ativam os temporizadores internos da libllama: tempo de carregamento, de prefill e tokens por segundo. -e, --escape controla o tratamento de sequências como \n, enquanto --no-escape as passa como texto comum. O texto original da descrição dessa flag termina de forma abrupta, por isso os demais parâmetros da ajuda não são analisados aqui.

O que levar para a prática

A conclusão do autor é honesta: muitas flags de CPU trazem ganhos pequenos, e é preciso testá-las no seu próprio hardware. O efeito real costuma vir do contexto, dos batches, do Flash Attention e do número de threads. O restante é melhor deixar no padrão, e a prioridade realtime não deve ser ativada de jeito nenhum.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Flags de serviço e cache?

O início da ajuda trata de comandos auxiliares. -h, --help, --usage exibe todos os parâmetros com seus valores padrão e variáveis de ambiente. --version mostra a versão e os dados da build; com eles, é possível verificar se há suporte a CUDA. --license lista as licenças do llama.cpp e de suas dependências, mas nas versões mais recentes essa flag já não existe. -cl, --cache-list mostra os modelos no cache de disco.

O que se sabe sobre Threads, núcleos e prioridades da CPU?

O maior bloco trata do processador. -t, --threads define o número de threads para a geração; o padrão é -1 (escolha automática). O autor alerta que a geração é limitada pela largura de banda da memória, por isso, a partir de certo número de threads, o ganho desaparece e threads extras podem até desacelerar o processo. Há a opinião de que, em Ryzen, é melhor indicar os núcleos físicos e, em Intel, os lógicos, mas isso precisa ser testado no seu próprio hardware.

O que se sabe sobre Contexto, batches e memória?

Para a prática, este é o bloco mais importante. -c, --ctx-size define o tamanho do contexto. O padrão é 0 (o valor é retirado do modelo), mas, em chats curtos e chamadas de ferramentas, reduzir esse tamanho compensa para economizar memória. -n, --predict limita o número de novos tokens; o padrão é -1 (até o token de finalização). No llama-completion, existe ainda o valor -2, que faz a geração continuar até o contexto ser preenchido.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…