Qwen3-8B sur le NPU de l'Intel Core Ultra 5 226V : 10,7 tokens/s à 15 W et 24 dB de silence

Le marketing d'Intel présente Core Ultra comme un « PC IA », mais le NPU n'a généralement que deux usages concrets : le flou d'arrière-plan en visioconférence et Copilot. L'auteur d'une analyse publiée sur Habr a voulu vérifier autre chose : peut-on faire tourner un vrai LLM sur le NPU, à combien de tokens par seconde, et pour quelle consommation d'énergie ? Le cobaye est un mini-PC Ninkear L20 doté d'un Intel Core Ultra 5 226V, de 16 Go de LPDDR5X-8533 et d'une plage de puissance de fonctionnement de 17-37 W. Réponse : Qwen3-8B compressé en 4 bits tourne sur le NPU à 10,7 tokens par seconde, pour 15,4 W sur l'ensemble de la puce.

Trois unités de calcul sur un même bus mémoire

Lunar Lake embarque trois blocs pour les réseaux de neurones. Le CPU à 8 cœurs (4 performants et 4 économes) est polyvalent, mais lent sur les réseaux de neurones. Le iGPU Intel Arc 130V, bâti sur l'architecture Xe2 avec multiplication matricielle matérielle, est le plus rapide pour les gros modèles.

Le NPU Intel AI Boost de quatrième génération est annoncé à 40 TOPS. Il calcule en INT8 et FP16 à basse fréquence et basse tension, mais ne gère pas les formes dynamiques, met longtemps à compiler et ne prend pas en charge toutes les opérations. La mémoire vive est commune aux trois : il n'y a pas besoin de copier le modèle d'un appareil à l'autre, mais le bus est unique, et cela se remarque quand ils travaillent en même temps.

Tokens, joules et défaite honnête du NPU

Le test : Qwen3-8B INT4, OpenVINO GenAI 2026.4, prompt de 77 tokens, réponse de 256 tokens, génération gloutonne, seule la deuxième exécution est prise en compte. La puissance est mesurée avec le compteur RAPL, sur l'ensemble de la puce.

• Génération : NPU 10,7 tokens/s, GPU Arc 130V 21,2 tokens/s, CPU 10,0 tokens/s
• Premier token : NPU 1,7 s, GPU 0,17 s, CPU 0,46 s
• Lecture d'un prompt de 1329 tokens : NPU 360 tokens/s, GPU 117 tokens/s, CPU 130 tokens/s
• Puissance de la puce : NPU 15,4 W, GPU 20,6 W, CPU 16,0 W
• Énergie par token : NPU 1,52 J, GPU 1,01 J, CPU 1,64 J

L'auteur le reconnaît sans détour : le GPU est deux fois plus rapide et plus économe par token. Sur une tâche de 10 000 tokens (15-20 pages), le NPU met 15,6 minutes et consomme 4,2 Wh, contre 7,9 minutes et 2,8 Wh pour le GPU. L'écart de 1,4 Wh est inférieur à la charge d'un seul téléphone. Le CPU égale le NPU en génération, mais lit un long prompt 12 fois plus lentement. Selon l'estimation de l'auteur, le mini-PC est 2-3 fois plus économe par token qu'un ordinateur équipé d'une RTX 5070 Ti.

Où le NPU reste utile

La force du NPU, c'est le travail en arrière-plan. Il ajoute 1-2 W à la consommation au repos sur les tâches de fond. Avec le NPU chargé à 99 %, le processeur est occupé à 7 % et le GPU à 2 %.

Le ventilateur ne s'emballe pas : 22-24 dB, contre 33-34 dB lorsque le GPU et le processeur travaillent. Si l'on lance deux réseaux de neurones sur le même GPU, chacun ralentit de moitié. Si l'on déporte le LLM sur le NPU, le réseau tournant sur le GPU conserve 92 % de sa vitesse.

Les trois blocs réunis consomment 27,5 W, avec le NPU chargé à 75 %, le GPU à 92 % et le processeur à 62 %.

Configuration et pièges

La pile repose sur OpenVINO : installation des pilotes (chez l'auteur, NPU 32.0.100.5540, GPU 32.0.101.8331), Python 3.12, paquets openvino, openvino-genai, nncf, huggingface_hub. Pour le NPU, il faut des modèles au suffixe -int4-cw-ov : poids symétriques sur 4 bits avec une seule échelle par canal. Dans GenAI, il suffit de définir MAX_PROMPT_LEN et MIN_RESPONSE_LEN. La première compilation est longue : 97 s pour Qwen3-8B, 30-40 s pour Depth Anything, 12 minutes pour ESRGAN. Avec CACHE_DIR, le relancement de Qwen3-8B prend 14,6 s.

Avec Qwen3-TTS (1,7 milliard de paramètres), le résultat est plus intéressant. Le NPU n'accepte ni la partie principale ni le vocodeur, à cause des formes dynamiques et du KV-cache. En revanche, le prédicteur de codes, appelé 15 fois par trame, a été réexporté par l'auteur sous forme statique (entrée 1×16×2048), et il fonctionne. Vitesse en RTF : tout sur le GPU 1,73, GPU plus NPU 2,0-2,1, processeur plus NPU 6,7, processeur seul 8,8-9,9. L'intelligibilité mesurée par Whisper est de 95-100 %.

Dans les plugins Intel pour GIMP 3, le NPU convient à la super-résolution (sr_1033 en 46 ms, ESRGAN ×4 en 1,2 s) et à la segmentation deeplabv3 (19,5 ms). En revanche, SD 1.5 et SDXL Inpainting ne se compilent pas dessus, et sseg-adas-0001 donne un résultat erroné.

Conclusion pratique

Le NPU de Lunar Lake ne remplace pas le GPU : pour un chat interactif, l'Arc 130V est meilleur. Mais pour le traitement par lots de photos la nuit, le résumé de documents, la voix de synthèse pour des livres et les agents en arrière-plan, il permet de travailler presque en silence, avec 1-2 W de plus qu'au repos, sans mobiliser le GPU ni le CPU. La condition essentielle : préparer les modèles pour des formes fixes et utiliser le cache de compilation.