Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуHabr AI→ оригинал

Разработчик с Хабра расшифровал флаги llama.cpp: справочник из 4 частей, готова одна

llama.cpp — программа для запуска нейросетей на своём компьютере, а штатная справка --help к её флагам слишком скупа. Автор с Хабра неделю разбирал параметры llama-cli, llama-completion и llama-server, сверяясь с исходниками. Справочник делится на 4 части: общие флаги, сэмплирование, спекулятивное декодирование и настройки отдельных утилит. Готова пока одна, так что остальное придётся ждать.

AI-обработка оригинала Habr AI; редакция Hamidun News
Разработчик с Хабра расшифровал флаги llama.cpp: справочник из 4 частей, готова одна
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Часть 1 — Common Paramsобщие флаги, одинаковые для всех трёх утилит
Справка дублируется на GitHubрусская и английская, по одной странице
Ключевой факт #3Описания, в которых автор не уверен, помечены ремаркой о возможной неточности

llama.cpp — популярная программа для запуска нейросетей прямо на своём компьютере или сервере, без облака. У неё десятки флагов, а штатная справка по команде --help описывает каждый одной сухой строкой. В итоге многие копируют набор параметров из чужого гайда и не до конца понимают, что именно включили. Автор с Хабра решил закрыть этот пробел: за неделю он прошёл по всем аргументам и собрал справочник на русском языке. Он делится на 4 части по категориям флагов, и пока опубликована только первая.

Что именно разбирает справочник

Речь о трёх утилитах для инференса, то есть запуска уже готовой модели:

  • llama-cli — работа с моделью в терминале в формате диалога;
  • llama-completion — генерация продолжения текста по заданному началу;
  • llama-server — запуск модели как сервера, к которому подключаются другие программы.

Автор шёл по выводу команд «llama-cli --help» и «llama-server --help» и сохранил тот же порядок. Для каждого параметра указано название, шаблон и краткое описание из штатной справки, а ниже идёт развёрнутый комментарий своими словами. Можно держать рядом терминал и сверять флаг с пояснением.

Четыре части справочника

Common Params — общие параметры. Они в основном совпадают у всех трёх утилит, и это самая большая часть. Серия начинается именно с неё, статья уже вышла и служит оглавлением для остальных.

Sampling Params — параметры сэмплирования, то есть правила, по которым модель выбирает следующее слово из вариантов. Сюда входят температура, top-p, top-k, min-p и не только они. Автор признаётся, что был сильно удивлён, сколько способов настроить поведение модели есть в llama.cpp. Материал пока в работе.

Speculative Params — настройки спекулятивного декодирования. Идея в том, что маленькая быстрая draft-модель угадывает несколько следующих токенов, а большая основная модель проверяет их разом. Если догадки подтверждаются, большая модель принимает их без пошаговой генерации, и текст появляется быстрее. Эта часть тоже в работе.

Example-Specific Params — параметры конкретных утилит. Например, у llama-server есть собственные настройки серверной части, которых нет у llama-cli и llama-completion. Автор предупреждает: слово «специфичные» не значит «редкие». Среди таких флагов есть нужные для регулярной работы, особенно у сервера. Эта часть пока не опубликована.

Автор ориентировочно планирует 4 статьи, но допускает, что их станет больше.

Как автор работал и чему стоит доверять

Автор честно пишет, что далеко не всё в llama.cpp использует сам, а многие параметры разбирал вместе с ИИ. Копировать ответы моделей он не стал: пытался понять, как параметр устроен и на что влияет, при необходимости читал исходный код и лишь потом формулировал комментарий. Если уверенности не хватало, описание помечено ремаркой о том, что оно может быть неточным.

Английскую версию он переводил с помощью ИИ, но вычитывал вручную: модели нередко выбирают слишком литературные обороты для технического текста. Справочник также дублируется на GitHub двумя страницами, русской и английской, в порядке штатной справки. Поправки принимаются в комментариях к статьям, правками на GitHub, по почте и в Telegram автора.

Что с этим делать

Если вы поднимаете локальные модели для разработки, чат-ботов или внутренних сервисов, добавьте первую часть в закладки и открывайте её как справочник, а не читайте подряд. Но учитывайте ограничения: готова одна часть из примерно четырёх, автор не претендует на абсолютную полноту и точность, а часть описаний может содержать неточности. Значения параметров стоит проверять на своей сборке llama.cpp: набор флагов от версии к версии меняется. Самыми полезными, судя по описанию, будут разделы про сэмплирование и спекулятивное декодирование, но их придётся подождать. Следите за обновлением оглавления в первой статье.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно разбирает справочник?

Речь о трёх утилитах для инференса, то есть запуска уже готовой модели: llama-cli — работа с моделью в терминале в формате диалога; llama-completion — генерация продолжения текста по заданному началу; llama-server — запуск модели как сервера, к которому подключаются другие программы. Автор шёл по выводу команд «llama-cli --help» и «llama-server --help» и сохранил тот же порядок. Для каждого параметра указано название, шаблон и краткое описание из штатной справки, а ниже идёт развёрнутый комментарий своими словами.

Что известно по теме: четыре части справочника?

Common Params — общие параметры. Они в основном совпадают у всех трёх утилит, и это самая большая часть. Серия начинается именно с неё, статья уже вышла и служит оглавлением для остальных. Sampling Params — параметры сэмплирования, то есть правила, по которым модель выбирает следующее слово из вариантов. Сюда входят температура, top-p, top-k, min-p и не только они. Автор признаётся, что был сильно удивлён, сколько способов настроить поведение модели есть в llama.cpp. Материал пока в работе.

Что известно по теме: как автор работал и чему стоит доверять?

Автор честно пишет, что далеко не всё в llama.cpp использует сам, а многие параметры разбирал вместе с ИИ. Копировать ответы моделей он не стал: пытался понять, как параметр устроен и на что влияет, при необходимости читал исходный код и лишь потом формулировал комментарий. Если уверенности не хватало, описание помечено ремаркой о том, что оно может быть неточным. Английскую версию он переводил с помощью ИИ, но вычитывал вручную: модели нередко выбирают слишком литературные обороты для технического текста.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…