Разбор llama.cpp: какие флаги потоков, контекста и батчей влияют на скорость
Автор на Habr разобрал общие параметры llama.cpp, одинаковые для llama-cli, llama-completion и llama-server, и к каждому флагу дал комментарий. Например, по умолчанию батч равен 2048 токенов, а физический микробатч — 512, контекст берётся из модели, а потоки выбираются автоматически. Часть флагов вроде привязки к ядрам и приоритета почти не меняет скорость, зато контекст и батчи напрямую влияют на память. Поэтому начинать настройку стоит с них.
AI-обработка оригинала Habr AI; редакция Hamidun News
Запускать модели локально через llama.cpp просто, пока всё работает по умолчанию. Когда нужно выжать скорость или уместить модель в память, начинается чтение справки на сотню флагов. Автор на Habr собрал первую часть такой справки: общие параметры (Common Params), которые почти одинаково работают в llama-cli, llama-completion и llama-server. Для каждого флага он приводит оригинальное описание из штатной справки и добавляет свой комментарий. Проверка сделана на версии 0.8.0-dev (build 12014) под Linux x86_64, дата валидации — 15 ноября 2026 года.
Служебные флаги и кэш
Начало справки — вспомогательные команды. -h, --help, --usage печатает все параметры с значениями по умолчанию и переменными окружения. --version показывает версию и данные сборки, по ним можно проверить, есть ли в ней поддержка CUDA. --license выводит лицензии llama.cpp и его зависимостей, но в новых версиях флага уже нет. -cl, --cache-list показывает модели в дисковом кэше. Они попадают туда только при скачивании через -mu, --model-url, а если вы подключаете файлы по прямому пути, список будет пустым. --completion-bash печатает скрипт автодополнения для терминала, после него флаги подставляются по TAB.
Потоки, ядра и приоритеты CPU
Самый большой блок касается процессора. -t, --threads задаёт число потоков для генерации, по умолчанию -1 (автовыбор). Автор предупреждает: генерация упирается в пропускную способность памяти, поэтому после некоторого числа потоков прирост исчезает, а лишние потоки могут даже замедлить работу. Есть мнение, что для Ryzen лучше указывать физические ядра, для Intel — логические, но это нужно проверять на своём железе. -tb, --threads-batch отвечает за обработку входящего промпта (prefill). Он хорошо масштабируется по потокам, поэтому здесь оптимально число побольше. Если флаг не задан, берётся значение --threads.
Дальше идёт тонкая настройка размещения. -C, --cpu-mask привязывает работу к ядрам через шестнадцатеричную маску (например, 0xF — ядра 0–3). -Cr, --cpu-range делает то же в привычном виде, например 0-7.
--cpu-strict жёстко закрепляет потоки за ядрами. В теории это снижает задержки и лучше использует кэш, но на практике разница обычно мала. Бывает и вред: если другой процесс занял закреплённое ядро, поток ждёт, а не уходит на свободное.
--prio задаёт приоритет процесса от low (-1) до realtime (3). Лучший выбор для большинства задач — 0, а realtime может заметно затормозить саму систему. Для значений 1–3 могут понадобиться права администратора, иначе llama.
cpp проигнорирует флаг. --poll (0–100, по умолчанию 50) определяет, как долго поток активно ждёт новую работу. Нулевое значение снижает нагрузку, сотня ускоряет пробуждение, но разница порядка миллисекунд на токен.
У всех этих параметров есть «батчевые» версии: --cpu-mask-batch, --cpu-range-batch, --cpu-strict-batch, --prio-batch и --poll-batch. Они работают так же, но только для prefill, а по умолчанию наследуют значения основных флагов.
Контекст, батчи и память
Для практики важнее всего этот блок. -c, --ctx-size задаёт длину контекста. По умолчанию стоит 0 (значение берётся из модели), но для коротких чатов и вызовов инструментов размер выгодно уменьшить, чтобы сэкономить память. -n, --predict ограничивает число новых токенов, по умолчанию -1 (до завершающего токена). В llama-completion есть ещё значение -2, при нём генерация идёт, пока не заполнится контекст.
-b, --batch-size (по умолчанию 2048) задаёт логический размер батча, на которые разбивается длинный prefill. -ub, --ubatch-size (по умолчанию 512) определяет физический микробатч, который реально уходит на CPU или GPU. Он не должен быть больше логического. --keep сохраняет первые N токенов, например системный промпт, когда контекст переполнен и llama.cpp начинает сдвигать окно. Значение -1 сохраняет весь исходный промпт. --swa-full включает полный кэш для моделей со скользящим окном внимания, вроде Gemma 2 и 3. Качество и совместимость теоретически лучше, но памяти нужно существенно больше. -fa, --flash-attn (on/off/auto, по умолчанию auto) ускоряет вычисление внимания и экономит память. Его нужно включать при квантовании кэша V и желательно при квантовании кэша K.
Промпты и вспомогательные опции
-p, --prompt задаёт первое пользовательское сообщение (системное задаётся отдельно через -sys). -f, --file берёт промпт из файла, а -bf, --binary-file читает его побайтово без преобразований, это нужно редко. --perf и --no-perf включают внутренние тайминги libllama: время загрузки, prefill и токены в секунду. -e, --escape управляет обработкой последовательностей вроде \n, а --no-escape передаёт их как обычный текст. Исходный текст на описании этого флага обрывается, поэтому остальные параметры из справки здесь не разобраны.
Что из этого взять в работу
Вывод автора честный: многие CPU-флаги дают небольшой выигрыш, и проверять их надо на своём железе. Реальный эффект обычно дают контекст, батчи, Flash Attention и число потоков. Остальное лучше оставить по умолчанию, а priority realtime не включать совсем.
- 21 нояб. 2026 г.Флеш-память для SSD подешевела на 19–32% в разовых сделках — накопители могут упасть в цене
- 21 нояб. 2026 г.Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
- 21 нояб. 2026 г.ИИ пишет уязвимый код в 44% тестов: Positive Technologies дала агентам сканер
- 21 нояб. 2026 г.Сбер выпустил колонку с ГигаЧатом за 14 990 рублей: голос понимает без интернета
Вопросы и ответы по материалу
Что известно по теме: служебные флаги и кэш?
Начало справки — вспомогательные команды. -h, --help, --usage печатает все параметры с значениями по умолчанию и переменными окружения. --version показывает версию и данные сборки, по ним можно проверить, есть ли в ней поддержка CUDA. --license выводит лицензии llama.cpp и его зависимостей, но в новых версиях флага уже нет. -cl, --cache-list показывает модели в дисковом кэше. Они попадают туда только при скачивании через -mu, --model-url, а если вы подключаете файлы по прямому пути, список будет пустым.
Что известно по теме: потоки, ядра и приоритеты CPU?
Самый большой блок касается процессора. -t, --threads задаёт число потоков для генерации, по умолчанию -1 (автовыбор). Автор предупреждает: генерация упирается в пропускную способность памяти, поэтому после некоторого числа потоков прирост исчезает, а лишние потоки могут даже замедлить работу. Есть мнение, что для Ryzen лучше указывать физические ядра, для Intel — логические, но это нужно проверять на своём железе. -tb, --threads-batch отвечает за обработку входящего промпта (prefill).
Что известно по теме: контекст, батчи и память?
Для практики важнее всего этот блок. -c, --ctx-size задаёт длину контекста. По умолчанию стоит 0 (значение берётся из модели), но для коротких чатов и вызовов инструментов размер выгодно уменьшить, чтобы сэкономить память. -n, --predict ограничивает число новых токенов, по умолчанию -1 (до завершающего токена). В llama-completion есть ещё значение -2, при нём генерация идёт, пока не заполнится контекст. -b, --batch-size (по умолчанию 2048) задаёт логический размер батча, на которые разбивается длинный prefill.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.