Qwen3-8B no NPU do Intel Core Ultra 5 226V: 10,7 tokens/s a 15 W e silêncio de 24 dB

O marketing da Intel chama o Core Ultra de "computador de IA", mas os cenários reais para o NPU costumam ser dois: desfoque de fundo em videochamadas e o Copilot. O autor da análise no Habr resolveu testar outra coisa: é possível rodar uma LLM completa no NPU, quantos tokens por segundo ela entrega e quanta energia consome? A cobaia foi o mini PC Ninkear L20, com Intel Core Ultra 5 226V, 16 GB de memória LPDDR5X-8533 e faixa de potência de operação de 17 a 37 W. A resposta: o Qwen3-8B com compressão de 4 bits roda no NPU a 10,7 tokens por segundo, com 15,4 W para o chip inteiro.

Três unidades de processamento no mesmo barramento de memória

O Lunar Lake tem três blocos para redes neurais. A CPU de 8 núcleos (4 de desempenho e 4 de eficiência) é versátil, mas lenta em redes neurais. A iGPU Intel Arc 130V, de arquitetura Xe2 com multiplicação de matrizes em hardware, é a mais rápida para modelos grandes.

O NPU Intel AI Boost de quarta geração é especificado em 40 TOPS e calcula em INT8 e FP16 com frequência e tensão baixas, mas não lida com formas dinâmicas, demora para compilar e não suporta todas as operações. A memória RAM é compartilhada entre os três, então não é preciso copiar o modelo entre dispositivos. Em compensação, o barramento é um só, e isso aparece quando todos trabalham ao mesmo tempo.

Tokens, joules e a derrota honesta do NPU

O teste usou Qwen3-8B INT4, OpenVINO GenAI 2026.4, prompt de 77 tokens, resposta de 256, geração gulosa (greedy) e contagem da segunda execução. A potência foi medida pelo contador RAPL de todo o chip.

• Geração: NPU 10,7 tokens/s, GPU Arc 130V 21,2 tokens/s, CPU 10,0 tokens/s
• Primeiro token: NPU 1,7 s, GPU 0,17 s, CPU 0,46 s
• Leitura de um prompt de 1329 tokens: NPU 360 tokens/s, GPU 117 tokens/s, CPU 130 tokens/s
• Potência do chip: NPU 15,4 W, GPU 20,6 W, CPU 16,0 W
• Energia por token: NPU 1,52 J, GPU 1,01 J, CPU 1,64 J

O autor admite abertamente: a GPU é duas vezes mais rápida e mais econômica por token. Em uma tarefa de 10 000 tokens (15 a 20 páginas), o NPU gasta 15,6 minutos e 4,2 Wh, e a GPU, 7,9 minutos e 2,8 Wh. A diferença de 1,4 Wh é menor que a carga de um celular. A CPU empata com o NPU na geração, mas lê um prompt longo 12 vezes mais devagar. Pela estimativa do autor, o mini PC é de 2 a 3 vezes mais econômico por token que um computador com RTX 5070 Ti.

Onde o NPU ainda faz sentido

O ponto forte do NPU é o trabalho em segundo plano. Ele acrescenta de 1 a 2 W ao consumo em repouso nas tarefas de fundo e, com o NPU a 99%, a CPU fica com 7% de carga e a GPU com 2%. O ventilador não acelera: o ruído fica entre 22 e 24 dB, contra 33 a 34 dB quando GPU e CPU trabalham. Se duas redes neurais rodam na mesma GPU, cada uma fica duas vezes mais lenta. Se a LLM for movida para o NPU, a rede na GPU mantém 92% da velocidade. Os três blocos juntos consomem 27,5 W, com carga de 75% no NPU, 92% na GPU e 62% na CPU.

Configuração e armadilhas

A pilha é baseada em OpenVINO: instalação de drivers (o autor usou NPU 32.0.100.5540 e GPU 32.0.101.8331), Python 3.12 e os pacotes openvino, openvino-genai, nncf e huggingface_hub. Para o NPU, são necessários modelos com o sufixo -int4-cw-ov: pesos simétricos de 4 bits com uma única escala por canal. No GenAI, basta definir MAX_PROMPT_LEN e MIN_RESPONSE_LEN. A primeira compilação é demorada: 97 s para o Qwen3-8B, 30 a 40 s para o Depth Anything e 12 minutos para o ESRGAN. Com CACHE_DIR, a reinicialização do Qwen3-8B leva 14,6 s.

Com o Qwen3-TTS (1,7 bilhão de parâmetros), o resultado foi mais interessante. O NPU não aceita o bloco principal nem o vocoder, por causa das formas dinâmicas e do KV-cache. Já o preditor de códigos, chamado 15 vezes por quadro, o autor reexportou em forma estática (entrada 1×16×2048), e ele passou a funcionar. O RTF ficou assim: tudo na GPU 1,73, GPU mais NPU 2,0-2,1, CPU mais NPU 6,7 e só CPU 8,8-9,9. A inteligibilidade medida pelo Whisper foi de 95 a 100%.

Nos plugins da Intel para o GIMP 3, o NPU serve para Super Resolution (sr_1033 em 46 ms, ESRGAN ×4 em 1,2 s) e para segmentação com deeplabv3 (19,5 ms). Já o SD 1.5 e o SDXL Inpainting não compilam nele, e o sseg-adas-0001 produz um resultado incorreto.

Conclusão prática

O NPU do Lunar Lake não substitui a GPU: para chat interativo, a Arc 130V é melhor. Mas, para processamento noturno de fotos em lote, resumo de documentos, narração de livros e agentes em segundo plano, ele permite trabalhar quase sem ruído, com apenas 1 a 2 W acima do consumo em repouso, sem ocupar a GPU nem a CPU. A condição principal: preparar os modelos para formas fixas e usar o cache de compilação.