Разработчик с Хабра расшифровал флаги llama.cpp: справочник из 4 частей, готова одна
llama.cpp — программа для запуска нейросетей на своём компьютере, а штатная справка --help к её флагам слишком скупа. Автор с Хабра неделю разбирал параметры llama-cli, llama-completion и llama-server, сверяясь с исходниками. Справочник делится на 4 части: общие флаги, сэмплирование, спекулятивное декодирование и настройки отдельных утилит. Готова пока одна, так что остальное придётся ждать.
AI-обработка оригинала Habr AI; редакция Hamidun News
llama.cpp — популярная программа для запуска нейросетей прямо на своём компьютере или сервере, без облака. У неё десятки флагов, а штатная справка по команде --help описывает каждый одной сухой строкой. В итоге многие копируют набор параметров из чужого гайда и не до конца понимают, что именно включили. Автор с Хабра решил закрыть этот пробел: за неделю он прошёл по всем аргументам и собрал справочник на русском языке. Он делится на 4 части по категориям флагов, и пока опубликована только первая.
Что именно разбирает справочник
Речь о трёх утилитах для инференса, то есть запуска уже готовой модели:
- llama-cli — работа с моделью в терминале в формате диалога;
- llama-completion — генерация продолжения текста по заданному началу;
- llama-server — запуск модели как сервера, к которому подключаются другие программы.
Автор шёл по выводу команд «llama-cli --help» и «llama-server --help» и сохранил тот же порядок. Для каждого параметра указано название, шаблон и краткое описание из штатной справки, а ниже идёт развёрнутый комментарий своими словами. Можно держать рядом терминал и сверять флаг с пояснением.
Четыре части справочника
Common Params — общие параметры. Они в основном совпадают у всех трёх утилит, и это самая большая часть. Серия начинается именно с неё, статья уже вышла и служит оглавлением для остальных.
Sampling Params — параметры сэмплирования, то есть правила, по которым модель выбирает следующее слово из вариантов. Сюда входят температура, top-p, top-k, min-p и не только они. Автор признаётся, что был сильно удивлён, сколько способов настроить поведение модели есть в llama.cpp. Материал пока в работе.
Speculative Params — настройки спекулятивного декодирования. Идея в том, что маленькая быстрая draft-модель угадывает несколько следующих токенов, а большая основная модель проверяет их разом. Если догадки подтверждаются, большая модель принимает их без пошаговой генерации, и текст появляется быстрее. Эта часть тоже в работе.
Example-Specific Params — параметры конкретных утилит. Например, у llama-server есть собственные настройки серверной части, которых нет у llama-cli и llama-completion. Автор предупреждает: слово «специфичные» не значит «редкие». Среди таких флагов есть нужные для регулярной работы, особенно у сервера. Эта часть пока не опубликована.
Автор ориентировочно планирует 4 статьи, но допускает, что их станет больше.
Как автор работал и чему стоит доверять
Автор честно пишет, что далеко не всё в llama.cpp использует сам, а многие параметры разбирал вместе с ИИ. Копировать ответы моделей он не стал: пытался понять, как параметр устроен и на что влияет, при необходимости читал исходный код и лишь потом формулировал комментарий. Если уверенности не хватало, описание помечено ремаркой о том, что оно может быть неточным.
Английскую версию он переводил с помощью ИИ, но вычитывал вручную: модели нередко выбирают слишком литературные обороты для технического текста. Справочник также дублируется на GitHub двумя страницами, русской и английской, в порядке штатной справки. Поправки принимаются в комментариях к статьям, правками на GitHub, по почте и в Telegram автора.
Что с этим делать
Если вы поднимаете локальные модели для разработки, чат-ботов или внутренних сервисов, добавьте первую часть в закладки и открывайте её как справочник, а не читайте подряд. Но учитывайте ограничения: готова одна часть из примерно четырёх, автор не претендует на абсолютную полноту и точность, а часть описаний может содержать неточности. Значения параметров стоит проверять на своей сборке llama.cpp: набор флагов от версии к версии меняется. Самыми полезными, судя по описанию, будут разделы про сэмплирование и спекулятивное декодирование, но их придётся подождать. Следите за обновлением оглавления в первой статье.
- 21 нояб. 2026 г.Флеш-память для SSD подешевела на 19–32% в разовых сделках — накопители могут упасть в цене
- 21 нояб. 2026 г.Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
- 21 нояб. 2026 г.ИИ пишет уязвимый код в 44% тестов: Positive Technologies дала агентам сканер
- 21 нояб. 2026 г.Сбер выпустил колонку с ГигаЧатом за 14 990 рублей: голос понимает без интернета
Вопросы и ответы по материалу
Что известно по теме: что именно разбирает справочник?
Речь о трёх утилитах для инференса, то есть запуска уже готовой модели: llama-cli — работа с моделью в терминале в формате диалога; llama-completion — генерация продолжения текста по заданному началу; llama-server — запуск модели как сервера, к которому подключаются другие программы. Автор шёл по выводу команд «llama-cli --help» и «llama-server --help» и сохранил тот же порядок. Для каждого параметра указано название, шаблон и краткое описание из штатной справки, а ниже идёт развёрнутый комментарий своими словами.
Что известно по теме: четыре части справочника?
Common Params — общие параметры. Они в основном совпадают у всех трёх утилит, и это самая большая часть. Серия начинается именно с неё, статья уже вышла и служит оглавлением для остальных. Sampling Params — параметры сэмплирования, то есть правила, по которым модель выбирает следующее слово из вариантов. Сюда входят температура, top-p, top-k, min-p и не только они. Автор признаётся, что был сильно удивлён, сколько способов настроить поведение модели есть в llama.cpp. Материал пока в работе.
Что известно по теме: как автор работал и чему стоит доверять?
Автор честно пишет, что далеко не всё в llama.cpp использует сам, а многие параметры разбирал вместе с ИИ. Копировать ответы моделей он не стал: пытался понять, как параметр устроен и на что влияет, при необходимости читал исходный код и лишь потом формулировал комментарий. Если уверенности не хватало, описание помечено ремаркой о том, что оно может быть неточным. Английскую версию он переводил с помощью ИИ, но вычитывал вручную: модели нередко выбирают слишком литературные обороты для технического текста.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.