Gemma 4 en un mini-PC genera 63 tokens por segundo; Qwen3.8, solo 12,8: prueba de 14 LLM
Un autor de Habr dedicó 86 horas a ejecutar 14 redes neuronales locales en un mini-PC con procesador Ryzen AI Max+ 395 y 96 GB de memoria. El modelo denso Qwen3.8 27B genera 12,8 tokens por segundo, mientras que Gemma 4 26B A4B, en el que solo parte de los parámetros trabaja con cada palabra, alcanza 63: casi cinco veces más rápido. Sin embargo, Qwen3.8 es la que mejor lee documentos largos, y su autor la reservó para las tareas complejas. Para un chat en tiempo real conviene el modelo rápido; para el trabajo pesado en segundo plano, el denso.
Procesado por IA desde Хабр: Машинное обучение; editado por Hamidun News
Dos chatbots locales ejecutados en el mismo ordenador compacto pueden responder con una diferencia de cinco veces en velocidad, aunque los archivos de los modelos tengan un tamaño casi idéntico. El autor del análisis en Habr estuvo una semana, 86 horas, ejecutando 14 redes neuronales locales en el mini-PC GMKtec EVO-X2. Por dentro lleva un procesador Ryzen AI Max+ 395 con la GPU integrada Radeon 8060S y 96 GB de memoria, que el procesador y los gráficos comparten.
Midió la velocidad en tokens por segundo: un token es un fragmento de palabra, y cuantos más haya por segundo, más rápido aparece el texto en pantalla. El modelo denso Qwen3.8 27B generó 12,8 tokens por segundo, y Gemma 4 26B A4B, 63.
Si piensa que puede trasladar parte de sus tareas desde la nube, estas cifras le ayudarán a elegir tanto el modelo como el hardware.
Qué banco de pruebas se usó y por qué
Software de la máquina: Ubuntu 26.04, LM Studio 0.4.
28 y el motor llama.cpp sobre Vulkan. Todas las capas del modelo estaban en la GPU, Flash Attention estaba activado y las consultas se procesaban una a una.
Casi todos los modelos se usaron en formato comprimido Q4 (los pesos se almacenan en cuatro bits para ocupar menos memoria); la excepción fue gpt-oss-20b, en formato MXFP4. El contexto, es decir, la cantidad de texto que el modelo mantiene a la vista, se probó con 64K, 128K y 256K tokens. Tres modelos solo llegan hasta 128K.
El autor reconoce un descuido: no anotó el tipo de cuantización de la caché KV, así que las condiciones no se pueden reproducir hasta el último detalle.
La primera lección práctica afecta al sistema operativo. En los LLM locales importa cuánta memoria se puede asignar a la GPU integrada. En Windows, con 96 GB instalados, no fue posible asignar más de 48 GB; en Linux se consiguieron 80 GiB. Por eso el mini-PC funciona con Ubuntu. Si piensa adquirir una plataforma similar para modelos grandes, compruebe este límite antes de comprarla.
La máquina llegó por dos motivos: la compraron en China y después hubo un ataque contra el centro de datos de Yandex. Los agentes del autor funcionaban en Yandex Cloud y se quedó sin sus herramientas habituales. No calculó la rentabilidad y seguirá usando los modelos avanzados en la nube mientras pueda. La cuestión era práctica: qué parte del trabajo cotidiano se puede delegar por completo en modelos locales.
Velocidad: el tamaño del archivo no lo dice todo
En la fase de selección participaron 12 modelos. A la final llegaron cuatro líderes y dos nuevos aspirantes que se añadieron después de la selección, así que en total pasaron las pruebas 14. El resultado más llamativo tiene que ver con la arquitectura de los modelos. El modelo denso Qwen3.8 27B genera 12,8 tokens por segundo. El modelo Gemma 4 26B A4B, en el mismo hardware, genera 63, aunque los archivos tienen un tamaño casi igual.
La diferencia se explica por la arquitectura. En un modelo denso, todos los parámetros trabajan con cada token. Gemma 4 26B A4B pertenece al tipo MoE («mezcla de expertos»): con cada token se activa solo una parte de los expertos, según su nombre, unos 4.000 millones de parámetros de los 26.000 millones. La memoria necesaria es la misma, pero el cálculo es mucho menor, de ahí la diferencia de casi cinco veces. Para un chat, donde la persona espera la respuesta, 12,8 tokens por segundo se parecen a una escritura lenta; 63, a una conversación normal.
Contexto largo: leer lleva minutos
El tamaño de la ventana no afectó a la velocidad ni a las puntuaciones cuando la consulta era la misma. Activar 256K «por si acaso» no supone una penalización por sí mismo. En cambio, leer una entrada larga sí resulta costoso: los modelos tardan entre 8 y 23 minutos en procesar 200K tokens. Para un agente que relee con frecuencia un repositorio grande o un conjunto de documentos, esto es un límite directo del escenario de uso.
En el contexto largo, el mejor resultado lo obtuvo Qwen3.8. Esa es la razón principal por la que el autor se quedó con ella, pese a su baja velocidad de generación.
Qué queda cargado en memoria
El autor mantiene dos modelos cargados a la vez. Gemma 4 26B Uncensored responde en el bot conversacional, donde importan las réplicas rápidas. Qwen3.8 27B con MTP asume las tareas más complejas y el trabajo en segundo plano, donde se puede esperar, pero se necesitan calidad y estabilidad con entradas grandes. MTP es un modo de predicción de múltiples tokens que ayuda a acelerar la generación.
Qué conviene retener del análisis. Primero, elija el modelo según el tipo de tarea: un MoE rápido para el diálogo y un modelo denso para el procesamiento pesado en segundo plano. Segundo, reserve tiempo para leer contextos largos, no solo para generar la respuesta. Tercero, compruebe cuánta memoria le asigna su sistema operativo a la GPU.
También hay que tener presentes las limitaciones. Son resultados de una sola persona en una sola configuración. El autor fue ajustando la metodología sobre la marcha, repitió parte de las ejecuciones y no dejó registrada la cuantización de la caché KV. Como referencia para un servidor doméstico o de oficina pequeña, las cifras sirven; como banco de pruebas riguroso, no. El propio autor dice que su intención es ahorrarle a los lectores varias tardes de trabajo, no emitir un veredicto definitivo.
- 21 nov 2026La memoria flash para SSD se abarató entre un 19 % y un 32 % en operaciones puntuales: los discos podrían bajar de precio
- 21 nov 2026Unsloth actualizó los Qwen3.8-27B comprimidos: la precisión sube un 5–10% con el mismo tamaño
- 21 nov 2026La IA escribe código vulnerable en el 44% de las pruebas: Positive Technologies da un escáner a los agentes
- 21 nov 2026Sber lanza un altavoz con GigaChat por 14 990 rublos: entiende la voz sin internet
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué banco de pruebas se usó y por qué?
Software de la máquina: Ubuntu 26.04, LM Studio 0.4.28 y el motor llama.cpp sobre Vulkan. Todas las capas del modelo estaban en la GPU, Flash Attention estaba activado y las consultas se procesaban una a una. Casi todos los modelos se usaron en formato comprimido Q4 (los pesos se almacenan en cuatro bits para ocupar menos memoria); la excepción fue gpt-oss-20b, en formato MXFP4. El contexto, es decir, la cantidad de texto que el modelo mantiene a la vista, se probó con 64K, 128K y 256K tokens.
¿Qué se sabe sobre Velocidad: el tamaño del archivo no lo dice todo?
En la fase de selección participaron 12 modelos. A la final llegaron cuatro líderes y dos nuevos aspirantes que se añadieron después de la selección, así que en total pasaron las pruebas 14. El resultado más llamativo tiene que ver con la arquitectura de los modelos. El modelo denso Qwen3.8 27B genera 12,8 tokens por segundo. El modelo Gemma 4 26B A4B, en el mismo hardware, genera 63, aunque los archivos tienen un tamaño casi igual. La diferencia se explica por la arquitectura.
¿Qué se sabe sobre Contexto largo: leer lleva minutos?
El tamaño de la ventana no afectó a la velocidad ni a las puntuaciones cuando la consulta era la misma. Activar 256K «por si acaso» no supone una penalización por sí mismo. En cambio, leer una entrada larga sí resulta costoso: los modelos tardan entre 8 y 23 minutos en procesar 200K tokens. Para un agente que relee con frecuencia un repositorio grande o un conjunto de documentos, esto es un límite directo del escenario de uso. En el contexto largo, el mejor resultado lo obtuvo Qwen3.8.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.