Un entusiasta ejecuta DeepSeek-V4-Flash con 64 GB de RAM y sin GPU: hasta 15 tokens por segundo

Normalmente, la conversación sobre ejecutar modelos grandes en local acaba en una sola pregunta: cuánta memoria de vídeo tienes. Un entusiasta ha publicado el proyecto llama-modchip con licencia Apache 2.0 y afirma que, para un modelo de 284 mil millones de parámetros, basta con un PC normal con 64 GB de RAM. No hace falta tarjeta gráfica ni swap. Veamos qué se ha hecho exactamente y hasta qué punto se puede creer.

Qué se ha conseguido

llama-modchip es un conjunto de parches para los kernels de ggml/llama.cpp, herramientas de cuantización y scripts para ejecutar modelos MoE dispersos directamente en la CPU. El modelo objetivo es DeepSeek-V4-Flash: 284 mil millones de parámetros en total, de los cuales 13 mil millones están activos.

Estas son las cifras del autor. El consumo máximo de memoria ronda los 58 GB con un contexto de 256 000 tokens. El prefill, es decir, la «lectura» de la consulta, avanza a 44 tokens por segundo. La generación ofrece entre 9 y 15 tokens por segundo. Las pruebas se hicieron en un Ryzen 9 9955HX de 16 núcleos. Es más o menos el ritmo al que aún resulta cómodo leer el texto según aparece en pantalla. Sirve para un chat o para tareas en segundo plano, pero se queda corto para trabajar de forma interactiva con documentos largos: con 44 tokens por segundo en el prefill, cargar un contexto grande llevará un tiempo apreciable.

Por qué es posible

Aquí confluyen dos técnicas.

La primera viene de la propia modelo. MoE (mixture of experts) funciona como una gran biblioteca en la que, para cada pregunta, solo se abren los libros-experto necesarios. Se almacena todo, pero se calcula una pequeña parte. Por eso, en cómputo, DeepSeek-V4-Flash se parece más a un modelo de tamaño medio: por cada token trabajan solo 13 mil millones de parámetros. Una CPU puede con esa carga. El cuello de botella es otro: hay que mantener en memoria los 284 mil millones de pesos.

La segunda técnica es obra del autor. Cuantiza de forma agresiva los expertos enrutados, hasta 1,56 bits por peso con el esquema IQ1_S, y usa un formato de archivo propio. En un cálculo aproximado, 284 mil millones de pesos a algo más de un bit y medio dan algo más de 50 GB. Eso cabe en 64 GB y deja margen para el contexto y el sistema.

La conclusión es sencilla: MoE resuelve el problema del cómputo y la cuantización resuelve el del volumen de memoria. En este esquema, la tarjeta gráfica sencillamente no hace falta.

Dónde está la trampa

Hay varias trampas y conviene tenerlas presentes.

Primero, la palabra «lossless» del README. Significa únicamente que los logits coinciden con los de la compilación sin parchear sobre los mismos pesos cuantizados. Es decir, los parches de los kernels no rompen nada. Nadie ha comparado el resultado con el modelo de precisión completa. Y con 1,56 bits por peso, es casi seguro que hay pérdida de calidad; la duda es de cuánta. Para código, razonamientos largos y llamadas a herramientas, incluso una degradación pequeña puede resultar crítica.

Segundo, todas las cifras las ha obtenido el propio autor. Por ahora no hay réplicas independientes, así que la velocidad y el consumo de memoria pueden variar en otro hardware.

Tercero, la compatibilidad. Los archivos cuantizados no se abren en llama.cpp estándar, Ollama ni LM Studio. Hace falta la compilación del proyecto, lo que obliga a convivir con un fork y a vigilar si se mantiene.

Qué hacer con esto

Para desarrolladores y responsables de producto, la lectura es pragmática. Esto aún no es una solución lista para producción, sino una prueba de concepto: un modelo MoE de tamaño de frontera cabe en un PC de sobremesa normal. Si las mediciones se confirman, los equipos dispondrán de una forma barata de ejecutar modelos grandes en local para prototipos, escenarios sin conexión y tareas en las que los datos no pueden enviarse a la nube.

Plan práctico: esperar a las réplicas independientes y, si tienes una máquina libre con 64 GB, probar el modelo con tus propias tareas y compararlo con la API o con modelos más pequeños. La calidad con tus datos decidirá si la versión de 1,56 bits merece atención. Una velocidad de 9–15 tokens por segundo puede ser aceptable para agentes sin conexión o procesamiento por lotes, pero no para productos interactivos con decenas de usuarios.

La tendencia general, en cualquier caso, está clara. La memoria y las tarjetas gráficas se encarecen, y optimizaciones de software como esta empiezan a competir con el hardware. Por ahora es más una promesa llamativa que un nuevo estándar, pero conviene no perder de vista la dirección.