Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Análisis de llama.cpp: qué flags de hilos, contexto y lotes afectan a la velocidad

Un autor de Habr ha analizado los parámetros comunes de llama.cpp, que son los mismos para llama-cli, llama-completion y llama-server, y ha comentado cada flag. Por ejemplo, por defecto el lote es de 2048 tokens y el microlote físico de 512, el contexto se toma del modelo y los hilos se eligen automáticamente. Algunos flags, como la afinidad con los núcleos o la prioridad, apenas cambian la velocidad, pero el contexto y los lotes sí afectan directamente a la memoria. Por eso conviene empezar la configuración por ellos.

Procesado por IA desde Habr AI; editado por Hamidun News
Análisis de llama.cpp: qué flags de hilos, contexto y lotes afectan a la velocidad
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1--threads -1 elige los hilos automáticamente; los hilos sobrantes pueden ralentizar la generación
Dato clave #2--keep conserva el inicio de la conversación, por ejemplo el prompt del sistema, cuando el contexto se desplaza
Dato clave #3--flash-attn es necesario para cuantizar la caché V, y por defecto está en auto

Ejecutar modelos en local con llama.cpp es sencillo mientras todo funcione por defecto. Cuando hace falta exprimir la velocidad o hacer que el modelo quepa en memoria, toca leer la ayuda con un centenar de flags. Un autor de Habr ha reunido la primera parte de esa ayuda: los parámetros comunes (Common Params), que funcionan casi igual en llama-cli, llama-completion y llama-server. Para cada flag incluye la descripción original de la ayuda oficial y añade su propio comentario. La comprobación se hizo con la versión 0.8.0-dev (build 12014) en Linux x86_64, y la fecha de validación es el 15 de noviembre de 2026.

Flags de servicio y caché

La ayuda empieza con los comandos auxiliares. -h, --help, --usage muestra todos los parámetros con sus valores por defecto y sus variables de entorno. --version muestra la versión y los datos de compilación, que permiten comprobar si incluye soporte para CUDA. --license imprime las licencias de llama.cpp y de sus dependencias, pero en las versiones nuevas este flag ya no existe. -cl, --cache-list muestra los modelos de la caché de disco. Solo llegan ahí al descargarlos con -mu, --model-url; si conectas los archivos por una ruta directa, la lista aparecerá vacía. --completion-bash imprime el script de autocompletado para la terminal; después, los flags se completan con TAB.

Hilos, núcleos y prioridades de CPU

El bloque más grande se refiere al procesador. -t, --threads define el número de hilos para la generación; por defecto es -1 (selección automática). El autor advierte de que la generación depende del ancho de banda de la memoria, así que a partir de cierto número de hilos la mejora desaparece e incluso los hilos sobrantes pueden ralentizar el proceso.

Hay quien sostiene que en Ryzen conviene indicar los núcleos físicos y en Intel los lógicos, pero esto hay que comprobarlo en el propio hardware. -tb, --threads-batch se encarga del procesamiento del prompt de entrada (prefill). Escala bien con el número de hilos, así que aquí suele ser óptimo un valor más alto.

Si el flag no se especifica, se toma el valor de --threads.

Después viene el ajuste fino de la ubicación. -C, --cpu-mask vincula el trabajo a los núcleos mediante una máscara hexadecimal (por ejemplo, 0xF, es decir, los núcleos 0 a 3). -Cr, --cpu-range hace lo mismo con una notación más habitual, por ejemplo 0-7.

--cpu-strict fija los hilos a los núcleos de forma estricta. En teoría reduce las latencias y aprovecha mejor la caché, pero en la práctica la diferencia suele ser pequeña. También puede perjudicar: si otro proceso ocupa el núcleo asignado, el hilo espera en lugar de pasar a uno libre.

--prio establece la prioridad del proceso, de low (-1) a realtime (3). Para la mayoría de tareas, la mejor opción es 0, ya que realtime puede frenar notablemente el propio sistema. Para los valores 1 a 3 pueden hacer falta permisos de administrador; de lo contrario, llama.

cpp ignorará el flag. --poll (de 0 a 100, por defecto 50) determina cuánto tiempo espera activamente un hilo el siguiente trabajo. Con el valor cero se reduce la carga; con cien se acelera el despertar, aunque la diferencia es del orden de milisegundos por token.

Todos estos parámetros tienen versiones «por lotes»: --cpu-mask-batch, --cpu-range-batch, --cpu-strict-batch, --prio-batch y --poll-batch. Funcionan igual, pero solo para el prefill, y por defecto heredan los valores de los flags principales.

Contexto, lotes y memoria

Para la práctica, este es el bloque más importante. -c, --ctx-size define la longitud del contexto. Por defecto vale 0 (el valor se toma del modelo), pero para chats cortos y llamadas a herramientas conviene reducirlo para ahorrar memoria. -n, --predict limita el número de tokens nuevos; por defecto es -1 (hasta el token de fin). En llama-completion existe además el valor -2, con el que la generación continúa hasta llenar el contexto.

-b, --batch-size (por defecto 2048) define el tamaño lógico del lote en que se divide un prefill largo. -ub, --ubatch-size (por defecto 512) determina el microlote físico que realmente se envía a la CPU o a la GPU. No debe ser mayor que el lógico.

--keep conserva los primeros N tokens, por ejemplo el prompt del sistema, cuando el contexto se llena y llama.cpp empieza a desplazar la ventana. El valor -1 conserva todo el prompt original.

--swa-full activa la caché completa para modelos con ventana de atención deslizante, como Gemma 2 y 3. En teoría mejora la calidad y la compatibilidad, pero requiere bastante más memoria. -fa, --flash-attn (on/off/auto, por defecto auto) acelera el cálculo de la atención y ahorra memoria.

Conviene activarlo al cuantizar la caché V y, preferiblemente, también al cuantizar la caché K.

Prompts y opciones auxiliares

-p, --prompt define el primer mensaje del usuario (el del sistema se indica aparte con -sys). -f, --file toma el prompt de un archivo, y -bf, --binary-file lo lee byte a byte sin transformaciones, algo que rara vez hace falta. --perf y --no-perf activan los tiempos internos de libllama: carga, prefill y tokens por segundo. -e, --escape controla el procesamiento de secuencias como \n, y --no-escape las pasa como texto normal. El texto original de la descripción de este flag está cortado, así que aquí no se analizan los demás parámetros de la ayuda.

Qué aplicar en la práctica

La conclusión del autor es honesta: muchos flags de CPU aportan una mejora pequeña, y conviene comprobarlos en el propio equipo. El efecto real suele venir del contexto, los lotes, Flash Attention y el número de hilos. Lo demás es mejor dejarlo por defecto y no activar nunca la prioridad realtime.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Flags de servicio y caché?

La ayuda empieza con los comandos auxiliares. -h, --help, --usage muestra todos los parámetros con sus valores por defecto y sus variables de entorno. --version muestra la versión y los datos de compilación, que permiten comprobar si incluye soporte para CUDA. --license imprime las licencias de llama.cpp y de sus dependencias, pero en las versiones nuevas este flag ya no existe. -cl, --cache-list muestra los modelos de la caché de disco.

¿Qué se sabe sobre Hilos, núcleos y prioridades de CPU?

El bloque más grande se refiere al procesador. -t, --threads define el número de hilos para la generación; por defecto es -1 (selección automática). El autor advierte de que la generación depende del ancho de banda de la memoria, así que a partir de cierto número de hilos la mejora desaparece e incluso los hilos sobrantes pueden ralentizar el proceso. Hay quien sostiene que en Ryzen conviene indicar los núcleos físicos y en Intel los lógicos, pero esto hay que comprobarlo en el propio hardware.

¿Qué se sabe sobre Contexto, lotes y memoria?

Para la práctica, este es el bloque más importante. -c, --ctx-size define la longitud del contexto. Por defecto vale 0 (el valor se toma del modelo), pero para chats cortos y llamadas a herramientas conviene reducirlo para ahorrar memoria. -n, --predict limita el número de tokens nuevos; por defecto es -1 (hasta el token de fin). En llama-completion existe además el valor -2, con el que la generación continúa hasta llenar el contexto.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…