Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Разбор llama.cpp: какие флаги потоков, контекста и батчей влияют на скорость

Автор на Habr разобрал общие параметры llama.cpp, одинаковые для llama-cli, llama-completion и llama-server, и к каждому флагу дал комментарий. Например, по умолчанию батч равен 2048 токенов, а физический микробатч — 512, контекст берётся из модели, а потоки выбираются автоматически. Часть флагов вроде привязки к ядрам и приоритета почти не меняет скорость, зато контекст и батчи напрямую влияют на память. Поэтому начинать настройку стоит с них.

AI-обработка оригинала Habr AI; редакция Hamidun News
Разбор llama.cpp: какие флаги потоков, контекста и батчей влияют на скорость
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1--threads -1 выбирает потоки сам; лишние потоки могут замедлить генерацию
Ключевой факт #2--keep сохраняет начало диалога, например системный промпт, при сдвиге контекста
Ключевой факт #3--flash-attn нужен для квантования кэша V, по умолчанию стоит auto

Запускать модели локально через llama.cpp просто, пока всё работает по умолчанию. Когда нужно выжать скорость или уместить модель в память, начинается чтение справки на сотню флагов. Автор на Habr собрал первую часть такой справки: общие параметры (Common Params), которые почти одинаково работают в llama-cli, llama-completion и llama-server. Для каждого флага он приводит оригинальное описание из штатной справки и добавляет свой комментарий. Проверка сделана на версии 0.8.0-dev (build 12014) под Linux x86_64, дата валидации — 15 ноября 2026 года.

Служебные флаги и кэш

Начало справки — вспомогательные команды. -h, --help, --usage печатает все параметры с значениями по умолчанию и переменными окружения. --version показывает версию и данные сборки, по ним можно проверить, есть ли в ней поддержка CUDA. --license выводит лицензии llama.cpp и его зависимостей, но в новых версиях флага уже нет. -cl, --cache-list показывает модели в дисковом кэше. Они попадают туда только при скачивании через -mu, --model-url, а если вы подключаете файлы по прямому пути, список будет пустым. --completion-bash печатает скрипт автодополнения для терминала, после него флаги подставляются по TAB.

Потоки, ядра и приоритеты CPU

Самый большой блок касается процессора. -t, --threads задаёт число потоков для генерации, по умолчанию -1 (автовыбор). Автор предупреждает: генерация упирается в пропускную способность памяти, поэтому после некоторого числа потоков прирост исчезает, а лишние потоки могут даже замедлить работу. Есть мнение, что для Ryzen лучше указывать физические ядра, для Intel — логические, но это нужно проверять на своём железе. -tb, --threads-batch отвечает за обработку входящего промпта (prefill). Он хорошо масштабируется по потокам, поэтому здесь оптимально число побольше. Если флаг не задан, берётся значение --threads.

Дальше идёт тонкая настройка размещения. -C, --cpu-mask привязывает работу к ядрам через шестнадцатеричную маску (например, 0xF — ядра 0–3). -Cr, --cpu-range делает то же в привычном виде, например 0-7.

--cpu-strict жёстко закрепляет потоки за ядрами. В теории это снижает задержки и лучше использует кэш, но на практике разница обычно мала. Бывает и вред: если другой процесс занял закреплённое ядро, поток ждёт, а не уходит на свободное.

--prio задаёт приоритет процесса от low (-1) до realtime (3). Лучший выбор для большинства задач — 0, а realtime может заметно затормозить саму систему. Для значений 1–3 могут понадобиться права администратора, иначе llama.

cpp проигнорирует флаг. --poll (0–100, по умолчанию 50) определяет, как долго поток активно ждёт новую работу. Нулевое значение снижает нагрузку, сотня ускоряет пробуждение, но разница порядка миллисекунд на токен.

У всех этих параметров есть «батчевые» версии: --cpu-mask-batch, --cpu-range-batch, --cpu-strict-batch, --prio-batch и --poll-batch. Они работают так же, но только для prefill, а по умолчанию наследуют значения основных флагов.

Контекст, батчи и память

Для практики важнее всего этот блок. -c, --ctx-size задаёт длину контекста. По умолчанию стоит 0 (значение берётся из модели), но для коротких чатов и вызовов инструментов размер выгодно уменьшить, чтобы сэкономить память. -n, --predict ограничивает число новых токенов, по умолчанию -1 (до завершающего токена). В llama-completion есть ещё значение -2, при нём генерация идёт, пока не заполнится контекст.

-b, --batch-size (по умолчанию 2048) задаёт логический размер батча, на которые разбивается длинный prefill. -ub, --ubatch-size (по умолчанию 512) определяет физический микробатч, который реально уходит на CPU или GPU. Он не должен быть больше логического. --keep сохраняет первые N токенов, например системный промпт, когда контекст переполнен и llama.cpp начинает сдвигать окно. Значение -1 сохраняет весь исходный промпт. --swa-full включает полный кэш для моделей со скользящим окном внимания, вроде Gemma 2 и 3. Качество и совместимость теоретически лучше, но памяти нужно существенно больше. -fa, --flash-attn (on/off/auto, по умолчанию auto) ускоряет вычисление внимания и экономит память. Его нужно включать при квантовании кэша V и желательно при квантовании кэша K.

Промпты и вспомогательные опции

-p, --prompt задаёт первое пользовательское сообщение (системное задаётся отдельно через -sys). -f, --file берёт промпт из файла, а -bf, --binary-file читает его побайтово без преобразований, это нужно редко. --perf и --no-perf включают внутренние тайминги libllama: время загрузки, prefill и токены в секунду. -e, --escape управляет обработкой последовательностей вроде \n, а --no-escape передаёт их как обычный текст. Исходный текст на описании этого флага обрывается, поэтому остальные параметры из справки здесь не разобраны.

Что из этого взять в работу

Вывод автора честный: многие CPU-флаги дают небольшой выигрыш, и проверять их надо на своём железе. Реальный эффект обычно дают контекст, батчи, Flash Attention и число потоков. Остальное лучше оставить по умолчанию, а priority realtime не включать совсем.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: служебные флаги и кэш?

Начало справки — вспомогательные команды. -h, --help, --usage печатает все параметры с значениями по умолчанию и переменными окружения. --version показывает версию и данные сборки, по ним можно проверить, есть ли в ней поддержка CUDA. --license выводит лицензии llama.cpp и его зависимостей, но в новых версиях флага уже нет. -cl, --cache-list показывает модели в дисковом кэше. Они попадают туда только при скачивании через -mu, --model-url, а если вы подключаете файлы по прямому пути, список будет пустым.

Что известно по теме: потоки, ядра и приоритеты CPU?

Самый большой блок касается процессора. -t, --threads задаёт число потоков для генерации, по умолчанию -1 (автовыбор). Автор предупреждает: генерация упирается в пропускную способность памяти, поэтому после некоторого числа потоков прирост исчезает, а лишние потоки могут даже замедлить работу. Есть мнение, что для Ryzen лучше указывать физические ядра, для Intel — логические, но это нужно проверять на своём железе. -tb, --threads-batch отвечает за обработку входящего промпта (prefill).

Что известно по теме: контекст, батчи и память?

Для практики важнее всего этот блок. -c, --ctx-size задаёт длину контекста. По умолчанию стоит 0 (значение берётся из модели), но для коротких чатов и вызовов инструментов размер выгодно уменьшить, чтобы сэкономить память. -n, --predict ограничивает число новых токенов, по умолчанию -1 (до завершающего токена). В llama-completion есть ещё значение -2, при нём генерация идёт, пока не заполнится контекст. -b, --batch-size (по умолчанию 2048) задаёт логический размер батча, на которые разбивается длинный prefill.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…