Bonsai 2 27B comprimida logró 17 tokens/s en una tarjeta de 2017, y Qwen3 8B, 32
Un desarrollador quería ejecutar un modelo local en una vieja tarjeta de minería con 8 GB de memoria y eligió una versión comprimida de Bonsai 2 27B: sus 27.000 millones de parámetros pasan de 54 a 5,9 GB. El modelo arrancó, pero Qwen3 8B, una versión convencional que cabe en esos mismos 8 GB, dio un resultado casi idéntico: 36 puntos de 40 frente a 35 de Bonsai, y 32 tokens por segundo frente a 17. Bonsai requiere el fork de PrismML: ni Ollama ni el llama.cpp estándar la leen. Para un asistente doméstico con 8 GB es más sencillo usar un modelo de 8B sin parches.
Procesado por IA desde Habr AI; editado por Hamidun News
Imagine que quiere montar un asistente local, sin nube, con el hardware que ya tiene bajo la mesa: por ejemplo, una vieja tarjeta gráfica de minería con 8 GB de memoria. Un modelo convencional de 27.000 millones de parámetros pesa decenas de gigabytes y no cabe ahí.
El estudio PrismML lanzó Bonsai 2 27B, comprimida hasta 5,9 GB, y prometió una calidad casi completa. El autor de un análisis en Habr lo puso a prueba en una NVIDIA P104-100 de minería de 2017, con un procesador i7-3770 sin AVX2, 15,5 GB de RAM y dos smartphones Android económicos. La conclusión práctica: se puede ejecutar, pero la Qwen3 8B convencional, que ya cabe en 8 GB, rinde casi igual de bien y el doble de rápido.
La velocidad se mide aquí en tokens por segundo (t/s): un token es un fragmento de palabra, de unas pocas letras.
Cómo caben 27B en 5,9 GB
Un modelo convencional guarda cada peso como un número de 16 bits, y 27B en ese formato pesan unos 54 GB. En Bonsai 2 a cada peso le quedan solo tres valores: −1, 0 y +1 (esta compresión se llama ternaria). En el formato PTQ1_0 son 1,75 bits por peso y 5,9 GB; en el formato PQ2_0, 2,13 bits y 7,2 GB. Según los desarrolladores, se conserva el 98,2% de la calidad de la Qwen3.8-27B original, y la multiplicación se sustituye por sumas y cambios de signo.
El tamaño importa también para la velocidad: para generar un token, la tarjeta lee todos los pesos, así que la velocidad suele estar limitada por el ancho de banda de la memoria más que por el cálculo.
Hay además un inconveniente. Solo el fork de PrismML entiende los tensores ternarios. Ollama devuelve un error al intentar leer ese archivo. El llama.cpp estándar es peor: carga en silencio el antiguo formato Q2_0 y luego el modelo responde sinsentidos. Antes de la compresión, los pesos se rotan con una matriz de Hadamard para suavizar los valores atípicos poco frecuentes, y los datos de entrada deben rotarse igual durante el uso; el llama.cpp normal no lo hace. Ollama puede hacerse compatible con el fork mediante parches, pero desaparecerán con la primera actualización.
Qué mostraron las mediciones
En la P104-100, Bonsai PTQ1_0 lee el prompt a 93,8 t/s y genera en torno a 17 t/s. Con un contexto de 16K tokens ocupa 7967 MB de 8191, y con 32K el modelo no arranca, de modo que los 262K nominales siguen siendo teoría para 8 GB. En una RTX 4090, según PrismML, la velocidad es de 81–91 t/s, es decir, la tarjeta antigua ofrece aproximadamente la quinta parte.
Un Qwen UD-IQ2_XXS de 2 bits del mismo tamaño es en esta tarjeta seis veces más lento leyendo el prompt (15,7 t/s) y 1,6 veces más lento generando (10,8 t/s). La velocidad la determinan los kernels escritos para un formato concreto, no el número de bits por peso. El procesador sin tarjeta gráfica dio 0,6 t/s.
El disco solo influye en el arranque: 25 segundos con NVMe y 87 con HDD; después la velocidad es casi igual, 16,5 y 17,0 t/s.
En calidad apenas hay diferencia. En un conjunto de 40 tareas cortas, Bonsai obtiene 35 puntos y Qwen3 8B, 36. Código, JSON, búsqueda de un dato en un texto, conocimientos y texto en ruso: casi todos los modelos lo resuelven sin errores.
Solo divergen en lógica y matemáticas, y ahí la 8B ganó de forma no del todo justa: el prompt decía «responde solo con el número», pero ella detalló igualmente los cálculos paso a paso. Cuando el autor activó el razonamiento en Bonsai, resolvió las cinco tareas en lugar de tres, con un gasto de 63 tokens. En un conjunto de 20 tareas difíciles con conocimientos poco comunes y contexto de 8K y 16K tampoco apareció una ventaja clara para la 27B: la 8B sacó 8 puntos de 10 a 31,9 t/s, y Bonsai, 7 de 10 a 16,8 t/s.
La 27B escribió cuentos algo mejor, 19 puntos de 25 frente a 18, pero la muestra de cinco historias es pequeña.
¿Y los teléfonos?
El TECNO Pouvoir 4 es estrictamente de 32 bits: las compilaciones del fork para Android existen solo para arm64, y un proceso de 32 bits no puede abrir un archivo de 5,9 GB por el límite de direcciones de 4 GB. Los Bonsai 2B y 4B, más pequeños, hubo que compilarlos desde el código fuente, y dan de 0,6 a 1,4 t/s. En el TECNO Pova 5 con 8 GB, la 27B arrancó y respondió correctamente a 5 de 6 preguntas.
Pero a una aplicación le quedan disponibles unos 3–4 GB de esos 8 GB, así que el teléfono vuelve a leer los pesos de la memoria flash en cada token. El resultado es 0,05 t/s, es decir, unos 20 segundos por token. En un gama alta con 12–16 GB el panorama probablemente mejore, pero el autor no lo comprobó.
Qué hacer en la práctica
Para un asistente local con 8 GB, Qwen3 8B es más sencilla: herramientas estándar, el doble de velocidad y una calidad comparable. Merece la pena probar Bonsai si tiene una tarjeta de 12–16 GB y necesita precisamente la clase 27B, o si está dispuesto a vivir con el fork. El método del autor tiene límites: una sola ejecución por tarea, conjuntos pequeños y una valoración subjetiva de los cuentos.
- 18 nov 2026LLM en un VPS sin GPU: modelos de 4B clasifican solicitudes con un 90% de precisión en 3–5 s
- 18 nov 2026Qwen en dos DGX Spark gana un 34–59% en tokens por segundo y supera a GLM
- 18 nov 2026Una IA de lenguaje en el ESP32-S3 se acelera hasta 406 tokens/s: 18 veces más rápido
- 18 nov 2026Tras un fallo, los agentes revierten su trabajo solo en el 47% de los casos, aunque resuelven el 84% de las tareas
Preguntas frecuentes sobre la noticia
¿Y los teléfonos?
El TECNO Pouvoir 4 es estrictamente de 32 bits: las compilaciones del fork para Android existen solo para arm64, y un proceso de 32 bits no puede abrir un archivo de 5,9 GB por el límite de direcciones de 4 GB. Los Bonsai 2B y 4B, más pequeños, hubo que compilarlos desde el código fuente, y dan de 0,6 a 1,4 t/s. En el TECNO Pova 5 con 8 GB, la 27B arrancó y respondió correctamente a 5 de 6 preguntas.
Cómo caben 27B en 5,9 GB?
Un modelo convencional guarda cada peso como un número de 16 bits, y 27B en ese formato pesan unos 54 GB. En Bonsai 2 a cada peso le quedan solo tres valores: −1, 0 y +1 (esta compresión se llama ternaria). En el formato PTQ1_0 son 1,75 bits por peso y 5,9 GB; en el formato PQ2_0, 2,13 bits y 7,2 GB. Según los desarrolladores, se conserva el 98,2% de la calidad de la Qwen3.8-27B original, y la multiplicación se sustituye por sumas y cambios de signo.
¿Qué se sabe sobre Qué mostraron las mediciones?
En la P104-100, Bonsai PTQ1_0 lee el prompt a 93,8 t/s y genera en torno a 17 t/s. Con un contexto de 16K tokens ocupa 7967 MB de 8191, y con 32K el modelo no arranca, de modo que los 262K nominales siguen siendo teoría para 8 GB. En una RTX 4090, según PrismML, la velocidad es de 81–91 t/s, es decir, la tarjeta antigua ofrece aproximadamente la quinta parte.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.