NPU dans les portables : les nouvelles exigences de l'informatique d'entreprise

Le cloud perd peu à peu son monopole sur le calcul IA. Microsoft a inscrit le processeur neuronal parmi les exigences obligatoires des Copilot+ PC, et AMD comme Intel intègrent le NPU directement dans leurs SoC. L'informatique d'entreprise se retrouve face à un choix qui n'existait pas auparavant.

Trois processeurs dans une seule puce

Les SoC actuels, comme l'AMD Ryzen AI 300 ou l'Intel Core Ultra, contiennent trois unités de calcul : un CPU classique, un GPU et un NPU. Sur le papier, c'est simple, mais un processeur neuronal est une tout autre bête. Le NPU est optimisé pour les opérations matricielles : les réseaux de neurones y tournent plus vite que sur un GPU généraliste. Mais uniquement si le modèle est plus petit que sa mémoire locale.

AMD et Intel n'ont doté le NPU que de 16 Go de VRAM (ou moins), alors que le GPU partage la mémoire système principale du portable. Ce compromis se voit dans les benchmarks. Le NPU de l'AMD Ryzen AI 300 a généré une image en 70 secondes, le GPU intégré de la même puce en 30. Le processeur spécialisé a perdu d'un facteur deux face au généraliste, sur la tâche pour laquelle il a été conçu.

Le goulot d'étranglement, c'est la mémoire. Quand le modèle dépasse ce que le NPU peut contenir, le processeur neuronal devient un goulot d'étranglement d'artefacts réseau au lieu d'accélérer quoi que ce soit.

Une architecture hybride pour l'informatique d'entreprise

Le scénario principal défendu par Microsoft et ses partenaires :

• Les tâches d'IA légères (classification, recherche, génération de textes courts) tournent en local sur le NPU
• Les modèles complexes (grands LLM, traitement vidéo) tournent dans le cloud
• Les données restent en partie sur l'appareil et sont en partie synchronisées
• La logique d'offload est intégrée à l'application

Pour l'informatique d'entreprise, cela signifie de nouveaux défis. Avant, on pouvait déployer un service cloud et l'oublier. Désormais, il faut :

Gérer les modèles sur les appareils. Chaque portable reçoit un ensemble de modèles ONNX ou TensorFlow. Les versions peuvent diverger. Les mises à jour transitent par internet. Sur 50K portables d'une grande entreprise, cela devient un problème de logistique.

Contrôler la mémoire. Si le modèle ne tient pas dans les 16 Go du NPU, l'application plante. Auparavant, un ingénieur cloud réglait la question une fois pour toutes. Il faut maintenant un algorithme côté client qui choisit le modèle selon la configuration.

Surveiller la batterie. Le NPU consomme moins d'énergie que le GPU, mais le gain est plus faible qu'il n'y paraît au premier abord.

Ce qui fonctionne réellement aujourd'hui

Les petits LLM (comme Phi-3.5 avec 3.8B de paramètres) tiennent entièrement sur un portable. L'inférence tourne sur le NPU dans un délai acceptable. Mais cela ne vaut que pour la lecture et la classification. La génération de texte avec une Llama-2-7B complète reste lente.

Copilot for Microsoft 365 est le principal bénéficiaire. La recherche dans les documents, le résumé des e-mails et la planification des réunions fonctionnent en local. Microsoft promet que cela améliorera la confidentialité (les données ne partent pas dans le cloud) et la vitesse (pas de latence réseau).

Ce que cela signifie

Les fabricants de portables ont surjoué sur des marchés de niche. L'informatique d'entreprise a reçu un outil qu'il lui faut apprendre à utiliser. Les plus audacieux préparent déjà des plateformes de distribution de modèles. Les autres attendent que ce soit simplifié. Personne ne quitte le cloud : l'avenir hybride, par définition, contient les deux parties.