Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Décryptage de llama.cpp : quels flags de threads, de contexte et de batchs influencent la vitesse

Un auteur de Habr a passé en revue les paramètres communs de llama.cpp, identiques pour llama-cli, llama-completion et llama-server, et commenté chaque flag. Par exemple, le batch vaut 2048 tokens par défaut, le micro-batch physique 512, le contexte est repris du modèle, et les threads sont choisis automatiquement. Certains flags, comme l'affinité aux cœurs ou la priorité, modifient à peine la vitesse, alors que le contexte et les batchs pèsent directement sur la mémoire. Il est donc logique de commencer la configuration par eux.

Traité par IA depuis Habr AI ; édité par Hamidun News
Décryptage de llama.cpp : quels flags de threads, de contexte et de batchs influencent la vitesse
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1--threads -1 choisit les threads automatiquement ; des threads en trop peuvent ralentir la génération
Chiffre clé #2--keep conserve le début de la conversation, par exemple le prompt système, lors du décalage du contexte
Chiffre clé #3--flash-attn est nécessaire pour la quantification du cache V, et sa valeur par défaut est auto

Lancer des modèles en local avec llama.cpp est simple tant que tout fonctionne par défaut. Dès qu'il faut gagner en vitesse ou faire tenir un modèle en mémoire, il faut lire l'aide, qui recense une centaine de flags. L'auteur de Habr a rassemblé la première partie de cette aide : les paramètres communs (Common Params), qui fonctionnent presque de la même façon dans llama-cli, llama-completion et llama-server. Pour chaque flag, il reprend la description originale de l'aide standard et ajoute son commentaire. Le test a été réalisé sur la version 0.8.0-dev (build 12014) sous Linux x86_64, et la validation date du 15 novembre 2026.

Flags utilitaires et cache

Le début de l'aide concerne les commandes auxiliaires. -h, --help, --usage affiche tous les paramètres avec leurs valeurs par défaut et leurs variables d'environnement. --version indique la version et les informations de build, ce qui permet de vérifier la présence du support CUDA. --license affiche les licences de llama.cpp et de ses dépendances, mais ce flag n'existe plus dans les versions récentes. -cl, --cache-list liste les modèles présents dans le cache disque. Ils n'y figurent que s'ils ont été téléchargés via -mu, --model-url ; si vous connectez les fichiers par chemin direct, la liste reste vide. --completion-bash imprime un script d'autocomplétion pour le terminal, après quoi les flags se complètent avec la touche TAB.

Threads, cœurs et priorités CPU

Le plus gros bloc concerne le processeur. -t, --threads définit le nombre de threads pour la génération, avec -1 par défaut (choix automatique). L'auteur met en garde : la génération est limitée par la bande passante mémoire, donc au-delà d'un certain nombre de threads le gain disparaît, et des threads supplémentaires peuvent même ralentir le calcul.

Certains estiment qu'il faut indiquer les cœurs physiques sur Ryzen et les cœurs logiques sur Intel, mais cela doit être vérifié sur votre propre matériel. -tb, --threads-batch gère le traitement du prompt d'entrée (prefill). Il passe bien à l'échelle avec le nombre de threads, donc une valeur plus élevée est ici optimale.

Si le flag n'est pas défini, c'est la valeur de --threads qui s'applique.

Vient ensuite le réglage fin du placement. -C, --cpu-mask attache le travail à des cœurs via un masque hexadécimal (par exemple 0xF pour les cœurs 0 à 3). -Cr, --cpu-range fait la même chose sous une forme plus lisible, par exemple 0-7.

--cpu-strict fixe strictement les threads sur leurs cœurs. En théorie, cela réduit les latences et améliore l'usage du cache, mais en pratique l'écart est en général faible. Cela peut même nuire : si un autre processus occupe un cœur épinglé, le thread attend au lieu de passer sur un cœur libre.

--prio règle la priorité du processus, de low (-1) à realtime (3). Pour la plupart des usages, 0 est le meilleur choix, et realtime peut sensiblement ralentir le système lui-même. Pour les valeurs 1 à 3, des droits administrateur peuvent être nécessaires, faute de quoi llama.

cpp ignore le flag. --poll (de 0 à 100, 50 par défaut) détermine la durée pendant laquelle un thread attend activement un nouveau travail. Une valeur nulle réduit la charge, cent accélère le réveil, mais l'écart ne se compte qu'en millisecondes par token.

Tous ces paramètres ont des versions « batch » : --cpu-mask-batch, --cpu-range-batch, --cpu-strict-batch, --prio-batch et --poll-batch. Ils fonctionnent de la même manière, mais uniquement pour le prefill, et héritent par défaut des valeurs des flags principaux.

Contexte, batchs et mémoire

C'est le bloc le plus utile en pratique. -c, --ctx-size définit la longueur du contexte. La valeur par défaut est 0 (la valeur est alors reprise du modèle), mais pour les chats courts et les appels d'outils, il est avantageux de la réduire afin d'économiser la mémoire. -n, --predict limite le nombre de nouveaux tokens, avec -1 par défaut (jusqu'au token de fin). Dans llama-completion, il existe en plus la valeur -2 : la génération se poursuit alors jusqu'au remplissage du contexte.

-b, --batch-size (2048 par défaut) définit la taille logique du batch en lequel se découpe un prefill long. -ub, --ubatch-size (512 par défaut) fixe le micro-batch physique, celui qui part réellement vers le CPU ou le GPU. Il ne doit pas dépasser la taille logique.

--keep conserve les N premiers tokens, par exemple le prompt système, lorsque le contexte est plein et que llama.cpp commence à décaler la fenêtre. La valeur -1 conserve l'intégralité du prompt initial.

--swa-full active le cache complet pour les modèles à fenêtre d'attention glissante, comme Gemma 2 et 3. La qualité et la compatibilité sont en théorie meilleures, mais la mémoire requise augmente nettement. -fa, --flash-attn (on/off/auto, auto par défaut) accélère le calcul de l'attention et économise la mémoire.

Il faut l'activer pour la quantification du cache V, et de préférence aussi pour celle du cache K.

Prompts et options auxiliaires

-p, --prompt définit le premier message utilisateur (le message système se règle séparément avec -sys). -f, --file lit le prompt depuis un fichier, et -bf, --binary-file le lit octet par octet sans transformation, ce qui reste rare. --perf et --no-perf activent les chronomètres internes de libllama : temps de chargement, de prefill et tokens par seconde. -e, --escape gère les séquences comme \n, tandis que --no-escape les transmet comme du texte ordinaire. Le texte de description de ce flag est tronqué dans la source, de sorte que les autres paramètres de l'aide ne sont pas détaillés ici.

Ce qu'il faut retenir

La conclusion de l'auteur est honnête : beaucoup de flags CPU n'apportent qu'un gain modeste, et il faut les tester sur son propre matériel. L'effet réel vient en général du contexte, des batchs, de Flash Attention et du nombre de threads. Pour le reste, mieux vaut garder les valeurs par défaut et ne jamais activer la priorité realtime.

Dossier

Questions clés sur cet article

Que sait-on sur Flags utilitaires et cache ?

Le début de l'aide concerne les commandes auxiliaires. -h, --help, --usage affiche tous les paramètres avec leurs valeurs par défaut et leurs variables d'environnement. --version indique la version et les informations de build, ce qui permet de vérifier la présence du support CUDA. --license affiche les licences de llama.cpp et de ses dépendances, mais ce flag n'existe plus dans les versions récentes. -cl, --cache-list liste les modèles présents dans le cache disque.

Que sait-on sur Threads, cœurs et priorités CPU ?

Le plus gros bloc concerne le processeur. -t, --threads définit le nombre de threads pour la génération, avec -1 par défaut (choix automatique). L'auteur met en garde : la génération est limitée par la bande passante mémoire, donc au-delà d'un certain nombre de threads le gain disparaît, et des threads supplémentaires peuvent même ralentir le calcul. Certains estiment qu'il faut indiquer les cœurs physiques sur Ryzen et les cœurs logiques sur Intel, mais cela doit être vérifié sur votre propre matériel.

Que sait-on sur Contexte, batchs et mémoire ?

C'est le bloc le plus utile en pratique. -c, --ctx-size définit la longueur du contexte. La valeur par défaut est 0 (la valeur est alors reprise du modèle), mais pour les chats courts et les appels d'outils, il est avantageux de la réduire afin d'économiser la mémoire. -n, --predict limite le nombre de nouveaux tokens, avec -1 par défaut (jusqu'au token de fin). Dans llama-completion, il existe en plus la valeur -2 : la génération se poursuit alors jusqu'au remplissage du contexte.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…