Opus reescribió el código de llama.cpp: Qwen genera texto un 40 % más rápido en una sola CPU
Se puede ejecutar una red neuronal sin tarjeta gráfica, pero responde con lentitud. El autor de una publicación en Habr encargó a la IA Opus que durante varios días ejecutara pruebas y corrigiera el código del motor llama.cpp. Como resultado, el modelo Qwen3.8-Flash-Next Gyro, en una sola CPU, generó 2,72 tokens por segundo en lugar de 1,97, es decir, alrededor de un 40 % más rápido (un token es una sílaba o una palabra corta). Para un chat en tiempo real sigue siendo lento, pero para tareas en segundo plano en servidores sin GPU, los parches merecen una prueba.
Procesado por IA desde Habr AI; editado por Hamidun News
Casi cualquier consejo para acelerar las redes neuronales locales suena igual: compre una tarjeta gráfica. O bien, comprima y vuelva a entrenar el propio modelo. ¿Pero qué hacer si el equipo solo tiene procesador y memoria RAM? El autor de una publicación en Habr decidió comprobarlo en la práctica. Encargó a la IA Opus que modificara el código de llama.cpp, un motor muy popular para ejecutar modelos en el propio hardware. Como resultado, Qwen3.8-Flash-Next Gyro, sin tarjeta gráfica, pasó de 1,97 a 2,72 tokens por segundo. Un token equivale aproximadamente a una sílaba o una palabra corta, de modo que la velocidad aumentó alrededor de un 40 %. El resultado es modesto, pero tiene cifras y código abierto.
Qué se hizo exactamente
El modelo de prueba fue Qwen3.8-Flash-Next Gyro en formato GGUF. En este formato, los modelos se ejecutan con llama.cpp. El autor no modificó el modelo en sí: ni reentrenamiento ni compresión. En su lugar, se centró en el código del motor. El trabajo principal lo realizó Opus. Durante varios días ejecutó pruebas en el ordenador del autor, buscó los puntos donde el procesador desperdicia tiempo y propuso cambios en el código de llama.cpp.
Al final se generaron varias versiones del parche. En la tabla, el autor compara dos de ellas, fix23 y fix37, con la compilación original.
Qué mostraron las mediciones
Se midieron dos cosas: la velocidad de lectura del prompt (cuántos tokens procesa el modelo por segundo) y la velocidad de generación de la respuesta. En la tabla, cada celda contiene dos números. El autor no explica qué significa el segundo, así que a continuación se presentan ambos pares.
- Original: prompt 4,12 / 3,75 tokens/s; generación 1,97 / 1,92.
- fix23: prompt 10,98 / 10,05; generación 2,41 / 2,38; aceleración ×1,23.
- fix37: prompt 11,21 / 14,49; generación 2,72 / 2,73; aceleración ×1,40.
La lectura del prompt se aceleró más que la generación: según los primeros números, pasó de 4,12 a 11,21 tokens/s, casi tres veces más. Para un procesador, esto es comprensible. El prompt puede procesarse en bloques grandes, mientras que la generación de la respuesta avanza de un token en un token y está limitada por la velocidad de la memoria, por lo que es mucho más difícil exprimirla. El autor también adjuntó un gráfico: cuanto más largo es el contexto, más lenta es la generación. Los parches no eliminan esa dependencia.
Qué hacer con esto y cuáles son las limitaciones
Una velocidad de 2,7 tokens por segundo sigue siendo baja para un chat interactivo. Sin embargo, en tareas en segundo plano, como el procesamiento por lotes de textos, donde no hay prisa, la mejora ya se nota. Se trata de mediciones realizadas en una sola máquina. La publicación no indica qué procesador ni cuánta memoria tiene el autor. Por eso no se puede prometer la misma aceleración en otro hardware ni con otro modelo. El propio autor pregunta si se podría lograr el mismo ajuste con otros modelos y pide a los lectores que envíen su configuración y la mejora obtenida tras aplicar los parches.
Los parches están en un merge request en GitLab, en el repositorio agentionai-group/llama.cpp. Si ejecuta modelos locales en un servidor sin GPU, puede compilarlos y compararlos con el llama.cpp habitual con su propia carga de trabajo. Además, es un ejemplo de cómo un asistente de IA puede dedicar varios días a trabajar en código de bajo nivel sobre hardware real, en lugar de escribir el típico CRUD.
Hay además un detalle desagradable. La cuenta con la que el autor ejecutaba Opus fue bloqueada. La verificación y la apelación no sirvieron de nada, y el bloqueo es definitivo. Ahora pregunta a la comunidad qué modelo y qué harness (el entorno que proporciona al modelo herramientas y le permite trabajar de forma autónoma) puede trabajar tanto tiempo en hardware personal como Claude Code. La cuestión es práctica: si un proyecto depende de un único proveedor en la nube, este puede detenerlo en cualquier momento.
La mini encuesta bajo la publicación muestra lo reducido de este nicho. Votaron tres personas: dos ejecutaban LLM en un ordenador con tarjeta gráfica dedicada y una sin ella; nadie utilizaba NPU especializadas. La muestra es diminuta. Aun así, recuerda que la aceleración en procesadores convencionales interesa a un círculo limitado de entusiastas. Para ellos, una mejora del 40 % ya es perceptible.
- 21 nov 2026MLCommons empieza a medir las API de IA bajo carga real: 7 mediciones para agentes
- 21 nov 2026Unsloth actualizó los Qwen3.8-27B comprimidos: la precisión sube un 5–10% con el mismo tamaño
- 21 nov 2026Google abre la preventa de sus gafas inteligentes con Gemini desde 395 $: las ventas empiezan el 10 de diciembre
- 21 nov 2026Durante tres días, a través de OpenRouter respondió un DeepSeek manipulado: las negativas cayeron del 83–98 % a un 1 %
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se hizo exactamente?
El modelo de prueba fue Qwen3.8-Flash-Next Gyro en formato GGUF. En este formato, los modelos se ejecutan con llama.cpp. El autor no modificó el modelo en sí: ni reentrenamiento ni compresión. En su lugar, se centró en el código del motor. El trabajo principal lo realizó Opus. Durante varios días ejecutó pruebas en el ordenador del autor, buscó los puntos donde el procesador desperdicia tiempo y propuso cambios en el código de llama.cpp. Al final se generaron varias versiones del parche.
¿Qué se sabe sobre Qué mostraron las mediciones?
Se midieron dos cosas: la velocidad de lectura del prompt (cuántos tokens procesa el modelo por segundo) y la velocidad de generación de la respuesta. En la tabla, cada celda contiene dos números. El autor no explica qué significa el segundo, así que a continuación se presentan ambos pares. Original: prompt 4,12 / 3,75 tokens/s; generación 1,97 / 1,92. fix23: prompt 10,98 / 10,05; generación 2,41 / 2,38; aceleración ×1,23. fix37: prompt 11,21 / 14,49; generación 2,72 / 2,73; aceleración ×1,40.
¿Qué se sabe sobre Qué hacer con esto y cuáles son las limitaciones?
Una velocidad de 2,7 tokens por segundo sigue siendo baja para un chat interactivo. Sin embargo, en tareas en segundo plano, como el procesamiento por lotes de textos, donde no hay prisa, la mejora ya se nota. Se trata de mediciones realizadas en una sola máquina. La publicación no indica qué procesador ni cuánta memoria tiene el autor. Por eso no se puede prometer la misma aceleración en otro hardware ni con otro modelo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.