Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Desenvolvedor do Habr decifrou as flags do llama.cpp: guia em 4 partes, pronta apenas uma

O llama.cpp é um programa para executar redes neurais no próprio computador, mas a ajuda padrão --help de suas flags é muito econômica. Um autor do Habr passou uma semana estudando os parâmetros de llama-cli, llama-completion e llama-server, conferindo tudo com o código-fonte. O guia será dividido em 4 partes: flags comuns, amostragem, decodificação especulativa e configurações de utilitários específicos. Por enquanto, só uma está pronta, então o restante terá de esperar.

Processado por IA de Habr AI; editado por Hamidun News
Desenvolvedor do Habr decifrou as flags do llama.cpp: guia em 4 partes, pronta apenas uma
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Parte 1 — Common Paramsflags comuns, idênticas nas três utilidades
A referência é duplicada no GitHubem russo e em inglês, uma página cada
Dado-chave #3Descrições em que o autor não tem certeza vêm marcadas com uma observação sobre possível imprecisão

O llama.cpp é um programa popular para executar redes neurais diretamente no próprio computador ou servidor, sem nuvem. Ele tem dezenas de flags, e a ajuda padrão do comando --help descreve cada uma em uma única linha seca. Como resultado, muitos copiam um conjunto de parâmetros de um guia alheio sem entender totalmente o que ativaram. O autor do Habr decidiu preencher essa lacuna: em uma semana, percorreu todos os argumentos e montou um guia em russo. Ele é dividido em 4 partes por categoria de flags, e até agora só a primeira foi publicada.

O que exatamente o guia analisa

Estão em foco três utilitários de inferência, ou seja, de execução de um modelo já pronto:

  • llama-cli — trabalho com o modelo no terminal, em formato de diálogo;
  • llama-completion — geração da continuação de um texto a partir de um início dado;
  • llama-server — execução do modelo como servidor, ao qual outros programas se conectam.

O autor seguiu a saída dos comandos «llama-cli --help» e «llama-server --help» e manteve a mesma ordem. Para cada parâmetro, indicou o nome, o padrão e a breve descrição da ajuda oficial, seguidos de um comentário detalhado com suas próprias palavras. É possível manter o terminal aberto ao lado e conferir cada flag com a explicação.

As quatro partes do guia

Common Params — parâmetros comuns. Eles coincidem, em sua maior parte, nas três utilidades, e é a maior seção. A série começa por ela, e o artigo já publicado funciona como índice para as demais.

Sampling Params — parâmetros de amostragem, ou seja, as regras pelas quais o modelo escolhe a próxima palavra entre as opções. Entram aqui temperatura, top-p, top-k, min-p e outros. O autor admite que se surpreendeu com a quantidade de maneiras de ajustar o comportamento do modelo no llama.cpp. O material ainda está em produção.

Speculative Params — configurações da decodificação especulativa. A ideia é que um modelo auxiliar pequeno e rápido, o draft, adivinha vários tokens seguintes, e o modelo principal, maior, verifica todos de uma vez. Se as previsões se confirmam, o modelo grande as aceita sem gerar passo a passo, e o texto aparece mais depressa. Esta parte também está em produção.

Example-Specific Params — parâmetros de utilitários específicos. Por exemplo, o llama-server tem configurações próprias da parte de servidor, que não existem no llama-cli nem no llama-completion. O autor faz uma ressalva: «específico» não significa «raro». Entre essas flags há algumas necessárias para o uso regular, sobretudo no servidor. Esta parte ainda não foi publicada.

O autor planeja, de forma aproximada, 4 artigos, mas admite que podem ser mais.

Como o autor trabalhou e em que confiar

O autor afirma com franqueza que não usou pessoalmente tudo o que existe no llama.cpp e que muitos parâmetros foram analisados junto com uma IA. Ele não copiou as respostas dos modelos: tentou entender como cada parâmetro funciona e em que influencia, leu o código-fonte quando necessário e só então redigiu o comentário. Quando lhe faltava confiança, a descrição recebeu uma observação de que pode conter imprecisões.

A versão em inglês foi traduzida com ajuda de IA, mas revisada manualmente, já que modelos costumam escolher expressões excessivamente literárias para um texto técnico. O guia também é duplicado no GitHub em duas páginas, russa e inglesa, na mesma ordem da ajuda oficial. Correções são aceitas nos comentários dos artigos, por pull request no GitHub, por e-mail e no Telegram do autor.

O que fazer com isso

Se você configura modelos locais para desenvolvimento, chatbots ou serviços internos, salve a primeira parte nos favoritos e use-a como referência, em vez de lê-la do começo ao fim. Mas leve em conta as limitações: está pronta uma parte de cerca de quatro, o autor não pretende completude e precisão absolutas, e parte das descrições pode conter imprecisões. Vale verificar os valores dos parâmetros na sua build do llama.cpp, pois o conjunto de flags muda de uma versão para outra. Pelo que a descrição indica, as seções mais úteis serão as de amostragem e de decodificação especulativa, mas elas terão de esperar. Acompanhe a atualização do índice no primeiro artigo.

História

Perguntas frequentes sobre a notícia

O que exatamente o guia analisa?

Estão em foco três utilitários de inferência, ou seja, de execução de um modelo já pronto: llama-cli — trabalho com o modelo no terminal, em formato de diálogo; llama-completion — geração da continuação de um texto a partir de um início dado; llama-server — execução do modelo como servidor, ao qual outros programas se conectam. O autor seguiu a saída dos comandos «llama-cli --help» e «llama-server --help» e manteve a mesma ordem.

O que se sabe sobre As quatro partes do guia?

Common Params — parâmetros comuns. Eles coincidem, em sua maior parte, nas três utilidades, e é a maior seção. A série começa por ela, e o artigo já publicado funciona como índice para as demais. Sampling Params — parâmetros de amostragem, ou seja, as regras pelas quais o modelo escolhe a próxima palavra entre as opções. Entram aqui temperatura, top-p, top-k, min-p e outros. O autor admite que se surpreendeu com a quantidade de maneiras de ajustar o comportamento do modelo no llama.cpp.

Como o autor trabalhou e em que confiar?

O autor afirma com franqueza que não usou pessoalmente tudo o que existe no llama.cpp e que muitos parâmetros foram analisados junto com uma IA. Ele não copiou as respostas dos modelos: tentou entender como cada parâmetro funciona e em que influencia, leu o código-fonte quando necessário e só então redigiu o comentário. Quando lhe faltava confiança, a descrição recebeu uma observação de que pode conter imprecisões.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…