Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Opus reescribió el código de llama.cpp: Qwen genera texto un 40 % más rápido en una sola CPU

Se puede ejecutar una red neuronal sin tarjeta gráfica, pero responde con lentitud. El autor de una publicación en Habr encargó a la IA Opus que durante varios días ejecutara pruebas y corrigiera el código del motor llama.cpp. Como resultado, el modelo Qwen3.8-Flash-Next Gyro, en una sola CPU, generó 2,72 tokens por segundo en lugar de 1,97, es decir, alrededor de un 40 % más rápido (un token es una sílaba o una palabra corta). Para un chat en tiempo real sigue siendo lento, pero para tareas en segundo plano en servidores sin GPU, los parches merecen una prueba.

Procesado por IA desde Habr AI; editado por Hamidun News
Opus reescribió el código de llama.cpp: Qwen genera texto un 40 % más rápido en una sola CPU
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1La lectura del prompt se aceleró de 4,12 a 11,21 tokens/s (parche fix37)
Dato clave #2El parche fix23 dio ×1,23 en generación; fix37, ×1,40 respecto al original
Dato clave #3Los parches están en un merge request en GitLab, y el autor pide que se envíen mediciones

Casi cualquier consejo para acelerar las redes neuronales locales suena igual: compre una tarjeta gráfica. O bien, comprima y vuelva a entrenar el propio modelo. ¿Pero qué hacer si el equipo solo tiene procesador y memoria RAM? El autor de una publicación en Habr decidió comprobarlo en la práctica. Encargó a la IA Opus que modificara el código de llama.cpp, un motor muy popular para ejecutar modelos en el propio hardware. Como resultado, Qwen3.8-Flash-Next Gyro, sin tarjeta gráfica, pasó de 1,97 a 2,72 tokens por segundo. Un token equivale aproximadamente a una sílaba o una palabra corta, de modo que la velocidad aumentó alrededor de un 40 %. El resultado es modesto, pero tiene cifras y código abierto.

Qué se hizo exactamente

El modelo de prueba fue Qwen3.8-Flash-Next Gyro en formato GGUF. En este formato, los modelos se ejecutan con llama.cpp. El autor no modificó el modelo en sí: ni reentrenamiento ni compresión. En su lugar, se centró en el código del motor. El trabajo principal lo realizó Opus. Durante varios días ejecutó pruebas en el ordenador del autor, buscó los puntos donde el procesador desperdicia tiempo y propuso cambios en el código de llama.cpp.

Al final se generaron varias versiones del parche. En la tabla, el autor compara dos de ellas, fix23 y fix37, con la compilación original.

Qué mostraron las mediciones

Se midieron dos cosas: la velocidad de lectura del prompt (cuántos tokens procesa el modelo por segundo) y la velocidad de generación de la respuesta. En la tabla, cada celda contiene dos números. El autor no explica qué significa el segundo, así que a continuación se presentan ambos pares.

  • Original: prompt 4,12 / 3,75 tokens/s; generación 1,97 / 1,92.
  • fix23: prompt 10,98 / 10,05; generación 2,41 / 2,38; aceleración ×1,23.
  • fix37: prompt 11,21 / 14,49; generación 2,72 / 2,73; aceleración ×1,40.

La lectura del prompt se aceleró más que la generación: según los primeros números, pasó de 4,12 a 11,21 tokens/s, casi tres veces más. Para un procesador, esto es comprensible. El prompt puede procesarse en bloques grandes, mientras que la generación de la respuesta avanza de un token en un token y está limitada por la velocidad de la memoria, por lo que es mucho más difícil exprimirla. El autor también adjuntó un gráfico: cuanto más largo es el contexto, más lenta es la generación. Los parches no eliminan esa dependencia.

Qué hacer con esto y cuáles son las limitaciones

Una velocidad de 2,7 tokens por segundo sigue siendo baja para un chat interactivo. Sin embargo, en tareas en segundo plano, como el procesamiento por lotes de textos, donde no hay prisa, la mejora ya se nota. Se trata de mediciones realizadas en una sola máquina. La publicación no indica qué procesador ni cuánta memoria tiene el autor. Por eso no se puede prometer la misma aceleración en otro hardware ni con otro modelo. El propio autor pregunta si se podría lograr el mismo ajuste con otros modelos y pide a los lectores que envíen su configuración y la mejora obtenida tras aplicar los parches.

Los parches están en un merge request en GitLab, en el repositorio agentionai-group/llama.cpp. Si ejecuta modelos locales en un servidor sin GPU, puede compilarlos y compararlos con el llama.cpp habitual con su propia carga de trabajo. Además, es un ejemplo de cómo un asistente de IA puede dedicar varios días a trabajar en código de bajo nivel sobre hardware real, en lugar de escribir el típico CRUD.

Hay además un detalle desagradable. La cuenta con la que el autor ejecutaba Opus fue bloqueada. La verificación y la apelación no sirvieron de nada, y el bloqueo es definitivo. Ahora pregunta a la comunidad qué modelo y qué harness (el entorno que proporciona al modelo herramientas y le permite trabajar de forma autónoma) puede trabajar tanto tiempo en hardware personal como Claude Code. La cuestión es práctica: si un proyecto depende de un único proveedor en la nube, este puede detenerlo en cualquier momento.

La mini encuesta bajo la publicación muestra lo reducido de este nicho. Votaron tres personas: dos ejecutaban LLM en un ordenador con tarjeta gráfica dedicada y una sin ella; nadie utilizaba NPU especializadas. La muestra es diminuta. Aun así, recuerda que la aceleración en procesadores convencionales interesa a un círculo limitado de entusiastas. Para ellos, una mejora del 40 % ya es perceptible.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se hizo exactamente?

El modelo de prueba fue Qwen3.8-Flash-Next Gyro en formato GGUF. En este formato, los modelos se ejecutan con llama.cpp. El autor no modificó el modelo en sí: ni reentrenamiento ni compresión. En su lugar, se centró en el código del motor. El trabajo principal lo realizó Opus. Durante varios días ejecutó pruebas en el ordenador del autor, buscó los puntos donde el procesador desperdicia tiempo y propuso cambios en el código de llama.cpp. Al final se generaron varias versiones del parche.

¿Qué se sabe sobre Qué mostraron las mediciones?

Se midieron dos cosas: la velocidad de lectura del prompt (cuántos tokens procesa el modelo por segundo) y la velocidad de generación de la respuesta. En la tabla, cada celda contiene dos números. El autor no explica qué significa el segundo, así que a continuación se presentan ambos pares. Original: prompt 4,12 / 3,75 tokens/s; generación 1,97 / 1,92. fix23: prompt 10,98 / 10,05; generación 2,41 / 2,38; aceleración ×1,23. fix37: prompt 11,21 / 14,49; generación 2,72 / 2,73; aceleración ×1,40.

¿Qué se sabe sobre Qué hacer con esto y cuáles son las limitaciones?

Una velocidad de 2,7 tokens por segundo sigue siendo baja para un chat interactivo. Sin embargo, en tareas en segundo plano, como el procesamiento por lotes de textos, donde no hay prisa, la mejora ya se nota. Se trata de mediciones realizadas en una sola máquina. La publicación no indica qué procesador ni cuánta memoria tiene el autor. Por eso no se puede prometer la misma aceleración en otro hardware ni con otro modelo.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…