Qwen3-8B en la NPU del Intel Core Ultra 5 226V: 10,7 tok/s a 15 W y 24 dB de silencio

El marketing de Intel llama a Core Ultra un «ordenador con IA», pero los escenarios reales de uso de la NPU suelen ser dos: el desenfoque de fondo en videollamadas y Copilot. El autor de un análisis en Habr decidió comprobar otra cosa: si es posible ejecutar en la NPU una LLM completa, cuántos tokens por segundo genera y cuánta energía consume. El conejillo de indias fue el mini PC Ninkear L20 con Intel Core Ultra 5 226V, 16 GB de memoria LPDDR5X-8533 y un rango de potencia de trabajo de 17-37 W. La respuesta: Qwen3-8B con compresión de 4 bits funciona en la NPU a 10,7 tokens por segundo y 15,4 W para todo el chip.

Tres unidades de cálculo en un mismo bus de memoria

Lunar Lake incluye tres bloques para redes neuronales. La CPU de 8 núcleos (4 de alto rendimiento y 4 de eficiencia energética) es versátil, pero lenta con redes neuronales. La iGPU Intel Arc 130V, basada en la arquitectura Xe2 con multiplicación de matrices por hardware, es la más rápida con modelos grandes.

La NPU Intel AI Boost de cuarta generación se anuncia con 40 TOPS y calcula en INT8 y FP16 a baja frecuencia y bajo voltaje, pero no admite formas dinámicas, tarda mucho en compilar y no soporta todas las operaciones. La memoria RAM es compartida por los tres: no hace falta copiar el modelo entre dispositivos, pero el bus es único, y eso se nota cuando trabajan a la vez.

Tokens, julios y la derrota honesta de la NPU

La prueba: Qwen3-8B INT4, OpenVINO GenAI 2026.4, prompt de 77 tokens, respuesta de 256, generación greedy, se contabiliza la segunda ejecución. La potencia se midió con el contador RAPL de todo el chip.

• Generación: NPU 10,7 tok/s, GPU Arc 130V 21,2 tok/s, CPU 10,0 tok/s
• Primer token: NPU 1,7 s, GPU 0,17 s, CPU 0,46 s
• Lectura de un prompt de 1329 tokens: NPU 360 tok/s, GPU 117 tok/s, CPU 130 tok/s
• Potencia del chip: NPU 15,4 W, GPU 20,6 W, CPU 16,0 W
• Energía por token: NPU 1,52 J, GPU 1,01 J, CPU 1,64 J

El autor lo admite sin rodeos: la gráfica es el doble de rápida y más eficiente por token. En una tarea de 10 000 tokens (15-20 páginas), la NPU emplea 15,6 minutos y 4,2 Wh; la gráfica, 7,9 minutos y 2,8 Wh. La diferencia de 1,4 Wh es menor que la carga de un teléfono. La CPU iguala a la NPU en generación, pero lee un prompt largo 12 veces más despacio. Según la estimación del autor, el mini PC es entre 2 y 3 veces más eficiente por token que un ordenador con RTX 5070 Ti.

Dónde sí hace falta la NPU

El punto fuerte de la NPU es el segundo plano. En tareas de fondo añade 1-2 W al consumo en reposo; con la NPU al 99%, la CPU está ocupada al 7% y la gráfica al 2%. El ventilador no acelera: 22-24 dB frente a 33-34 dB cuando trabajan la gráfica y la CPU. Si se ejecutan dos redes neuronales en la misma gráfica, cada una se ralentiza a la mitad. Si se traslada la LLM a la NPU, la red neuronal de la gráfica conserva el 92% de su velocidad. Los tres bloques juntos consumen 27,5 W con la NPU al 75% de carga, la gráfica al 92% y la CPU al 62%.

Configuración y trampas

El stack se basa en OpenVINO: instalación de controladores (en el equipo del autor, NPU 32.0.100.5540 y gráfica 32.0.101.8331), Python 3.12 y los paquetes openvino, openvino-genai, nncf y huggingface_hub. Para la NPU hacen falta modelos con el sufijo -int4-cw-ov: pesos simétricos de 4 bits con una sola escala por canal. En GenAI basta con definir MAX_PROMPT_LEN y MIN_RESPONSE_LEN. La primera compilación es larga: Qwen3-8B tarda 97 s, Depth Anything 30-40 s y ESRGAN 12 minutos. Con CACHE_DIR, el reinicio de Qwen3-8B lleva 14,6 s.

Con Qwen3-TTS (1,7 mil millones de parámetros) el resultado fue más interesante. La NPU no acepta el bloque principal ni el vocoder por las formas dinámicas y la KV-cache, pero el predictor de códigos, que se invoca 15 veces por fotograma, el autor lo reexportó a forma estática (entrada 1×16×2048) y funcionó. Velocidad en RTF: todo en la gráfica, 1,73; gráfica más NPU, 2,0-2,1; CPU más NPU, 6,7; solo CPU, 8,8-9,9. La inteligibilidad medida con Whisper es del 95-100%.

En los plugins de Intel para GIMP 3, la NPU sirve para Super Resolution (sr_1033 en 46 ms, ESRGAN ×4 en 1,2 s) y para la segmentación deeplabv3 (19,5 ms), pero SD 1.5 y SDXL Inpainting no se compilan en ella, y sseg-adas-0001 produce un resultado incorrecto.

Conclusión práctica

La NPU de Lunar Lake no sustituye a la gráfica: para un chat interactivo, Arc 130V es mejor. Pero para el procesamiento nocturno por lotes de fotos, el resumen de documentos, la locución de libros y los agentes en segundo plano, permite trabajar casi en silencio, con solo 1-2 W por encima del reposo y sin ocupar la GPU ni la CPU. La condición principal: preparar los modelos para formas fijas y usar la caché de compilación.