Décryptage de llama.cpp : quels flags de threads, de contexte et de batchs influencent la vitesse
Un auteur de Habr a passé en revue les paramètres communs de llama.cpp, identiques pour llama-cli, llama-completion et llama-server, et commenté chaque flag. Par exemple, le batch vaut 2048 tokens par défaut, le micro-batch physique 512, le contexte est repris du modèle, et les threads sont choisis automatiquement. Certains flags, comme l'affinité aux cœurs ou la priorité, modifient à peine la vitesse, alors que le contexte et les batchs pèsent directement sur la mémoire. Il est donc logique de commencer la configuration par eux.
Traité par IA depuis Habr AI ; édité par Hamidun News
Lancer des modèles en local avec llama.cpp est simple tant que tout fonctionne par défaut. Dès qu'il faut gagner en vitesse ou faire tenir un modèle en mémoire, il faut lire l'aide, qui recense une centaine de flags. L'auteur de Habr a rassemblé la première partie de cette aide : les paramètres communs (Common Params), qui fonctionnent presque de la même façon dans llama-cli, llama-completion et llama-server. Pour chaque flag, il reprend la description originale de l'aide standard et ajoute son commentaire. Le test a été réalisé sur la version 0.8.0-dev (build 12014) sous Linux x86_64, et la validation date du 15 novembre 2026.
Flags utilitaires et cache
Le début de l'aide concerne les commandes auxiliaires. -h, --help, --usage affiche tous les paramètres avec leurs valeurs par défaut et leurs variables d'environnement. --version indique la version et les informations de build, ce qui permet de vérifier la présence du support CUDA. --license affiche les licences de llama.cpp et de ses dépendances, mais ce flag n'existe plus dans les versions récentes. -cl, --cache-list liste les modèles présents dans le cache disque. Ils n'y figurent que s'ils ont été téléchargés via -mu, --model-url ; si vous connectez les fichiers par chemin direct, la liste reste vide. --completion-bash imprime un script d'autocomplétion pour le terminal, après quoi les flags se complètent avec la touche TAB.
Threads, cœurs et priorités CPU
Le plus gros bloc concerne le processeur. -t, --threads définit le nombre de threads pour la génération, avec -1 par défaut (choix automatique). L'auteur met en garde : la génération est limitée par la bande passante mémoire, donc au-delà d'un certain nombre de threads le gain disparaît, et des threads supplémentaires peuvent même ralentir le calcul.
Certains estiment qu'il faut indiquer les cœurs physiques sur Ryzen et les cœurs logiques sur Intel, mais cela doit être vérifié sur votre propre matériel. -tb, --threads-batch gère le traitement du prompt d'entrée (prefill). Il passe bien à l'échelle avec le nombre de threads, donc une valeur plus élevée est ici optimale.
Si le flag n'est pas défini, c'est la valeur de --threads qui s'applique.
Vient ensuite le réglage fin du placement. -C, --cpu-mask attache le travail à des cœurs via un masque hexadécimal (par exemple 0xF pour les cœurs 0 à 3). -Cr, --cpu-range fait la même chose sous une forme plus lisible, par exemple 0-7.
--cpu-strict fixe strictement les threads sur leurs cœurs. En théorie, cela réduit les latences et améliore l'usage du cache, mais en pratique l'écart est en général faible. Cela peut même nuire : si un autre processus occupe un cœur épinglé, le thread attend au lieu de passer sur un cœur libre.
--prio règle la priorité du processus, de low (-1) à realtime (3). Pour la plupart des usages, 0 est le meilleur choix, et realtime peut sensiblement ralentir le système lui-même. Pour les valeurs 1 à 3, des droits administrateur peuvent être nécessaires, faute de quoi llama.
cpp ignore le flag. --poll (de 0 à 100, 50 par défaut) détermine la durée pendant laquelle un thread attend activement un nouveau travail. Une valeur nulle réduit la charge, cent accélère le réveil, mais l'écart ne se compte qu'en millisecondes par token.
Tous ces paramètres ont des versions « batch » : --cpu-mask-batch, --cpu-range-batch, --cpu-strict-batch, --prio-batch et --poll-batch. Ils fonctionnent de la même manière, mais uniquement pour le prefill, et héritent par défaut des valeurs des flags principaux.
Contexte, batchs et mémoire
C'est le bloc le plus utile en pratique. -c, --ctx-size définit la longueur du contexte. La valeur par défaut est 0 (la valeur est alors reprise du modèle), mais pour les chats courts et les appels d'outils, il est avantageux de la réduire afin d'économiser la mémoire. -n, --predict limite le nombre de nouveaux tokens, avec -1 par défaut (jusqu'au token de fin). Dans llama-completion, il existe en plus la valeur -2 : la génération se poursuit alors jusqu'au remplissage du contexte.
-b, --batch-size (2048 par défaut) définit la taille logique du batch en lequel se découpe un prefill long. -ub, --ubatch-size (512 par défaut) fixe le micro-batch physique, celui qui part réellement vers le CPU ou le GPU. Il ne doit pas dépasser la taille logique.
--keep conserve les N premiers tokens, par exemple le prompt système, lorsque le contexte est plein et que llama.cpp commence à décaler la fenêtre. La valeur -1 conserve l'intégralité du prompt initial.
--swa-full active le cache complet pour les modèles à fenêtre d'attention glissante, comme Gemma 2 et 3. La qualité et la compatibilité sont en théorie meilleures, mais la mémoire requise augmente nettement. -fa, --flash-attn (on/off/auto, auto par défaut) accélère le calcul de l'attention et économise la mémoire.
Il faut l'activer pour la quantification du cache V, et de préférence aussi pour celle du cache K.
Prompts et options auxiliaires
-p, --prompt définit le premier message utilisateur (le message système se règle séparément avec -sys). -f, --file lit le prompt depuis un fichier, et -bf, --binary-file le lit octet par octet sans transformation, ce qui reste rare. --perf et --no-perf activent les chronomètres internes de libllama : temps de chargement, de prefill et tokens par seconde. -e, --escape gère les séquences comme \n, tandis que --no-escape les transmet comme du texte ordinaire. Le texte de description de ce flag est tronqué dans la source, de sorte que les autres paramètres de l'aide ne sont pas détaillés ici.
Ce qu'il faut retenir
La conclusion de l'auteur est honnête : beaucoup de flags CPU n'apportent qu'un gain modeste, et il faut les tester sur son propre matériel. L'effet réel vient en général du contexte, des batchs, de Flash Attention et du nombre de threads. Pour le reste, mieux vaut garder les valeurs par défaut et ne jamais activer la priorité realtime.
- 21 nov. 2026Mémoire flash pour SSD : les prix chutent de 19 à 32 % sur le marché spot, les disques pourraient devenir moins chers
- 21 nov. 2026Unsloth met à jour ses versions compressées de Qwen3.8-27B : précision en hausse de 5 à 10 % à taille égale
- 21 nov. 2026L'IA écrit du code vulnérable dans 44 % des tests : Positive Technologies donne un scanner aux agents
- 21 nov. 2026Sber sort une enceinte avec GigaChat à 14 990 roubles : la voix fonctionne sans Internet
Questions clés sur cet article
Que sait-on sur Flags utilitaires et cache ?
Le début de l'aide concerne les commandes auxiliaires. -h, --help, --usage affiche tous les paramètres avec leurs valeurs par défaut et leurs variables d'environnement. --version indique la version et les informations de build, ce qui permet de vérifier la présence du support CUDA. --license affiche les licences de llama.cpp et de ses dépendances, mais ce flag n'existe plus dans les versions récentes. -cl, --cache-list liste les modèles présents dans le cache disque.
Que sait-on sur Threads, cœurs et priorités CPU ?
Le plus gros bloc concerne le processeur. -t, --threads définit le nombre de threads pour la génération, avec -1 par défaut (choix automatique). L'auteur met en garde : la génération est limitée par la bande passante mémoire, donc au-delà d'un certain nombre de threads le gain disparaît, et des threads supplémentaires peuvent même ralentir le calcul. Certains estiment qu'il faut indiquer les cœurs physiques sur Ryzen et les cœurs logiques sur Intel, mais cela doit être vérifié sur votre propre matériel.
Que sait-on sur Contexte, batchs et mémoire ?
C'est le bloc le plus utile en pratique. -c, --ctx-size définit la longueur du contexte. La valeur par défaut est 0 (la valeur est alors reprise du modèle), mais pour les chats courts et les appels d'outils, il est avantageux de la réduire afin d'économiser la mémoire. -n, --predict limite le nombre de nouveaux tokens, avec -1 par défaut (jusqu'au token de fin). Dans llama-completion, il existe en plus la valeur -2 : la génération se poursuit alors jusqu'au remplissage du contexte.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.