GPU (unité de traitement graphique)
Un GPU est un processeur initialement conçu pour le rendu graphique informatique, construit autour de milliers de petits noyaux de calcul parallèles. Depuis le début des années 2010, les GPU sont devenus le matériel dominant pour l'entraînement et l'inférence de modèles d'IA, car les calculs de réseaux de neurones correspondent naturellement à cette architecture parallèle.
Un GPU contient des milliers à des dizaines de milliers de petits noyaux de calcul — le H100 SXM5 de NVIDIA, par exemple, contient environ 16 896 cœurs CUDA — optimisés pour exécuter la même opération arithmétique sur de nombreux éléments de données simultanément (Single Instruction, Multiple Data, ou SIMD). Cela contraste avec un CPU, qui possède un petit nombre de noyaux puissants optimisés pour la logique séquentielle complexe. L'entraînement de réseaux de neurones se réduit largement à des multiplications matricielles répétées et des transformations nonlinéaires élément par élément, des opérations qui correspondent naturellement au parallélisme du GPU et donnent aux GPU un avantage de débit de 10 à 100× sur les CPU pour ces charges de travail.
Pendant l'entraînement d'IA, un GPU stocke les poids du modèle et les lots d'entrée dans la mémoire sur puce à bande passante élevée (HBM — Mémoire à bande passante élevée) et effectue les passes avant et arrière à travers le modèle de manière parallèle hautement pipelinée. Plusieurs GPU sont connectés via des interconnexions rapides — NVLink au sein d'un serveur, InfiniBand ou RoCE entre les serveurs — pour distribuer les tâches d'entraînement qui dépassent la capacité mémoire d'un seul GPU. Le framework de programmation CUDA de NVIDIA, lancé en 2007, est devenu la couche logicielle de facto permettant aux chercheurs en IA d'écrire des programmes parallèles à usage général pour les GPU sans nécessiter une expertise graphique, et il reste la plateforme dominante en 2026.
L'accès au calcul GPU est le goulot d'étranglement principal du développement de l'IA. L'entraînement d'un grand modèle de langage frontier requiert l'exécution de milliers de GPU en parallèle pendant des semaines à des mois ; l'inférence à l'échelle de production nécessite de manière similaire de grandes flottes de GPU fonctionnant continuellement. La rareté des GPU détermine directement quelles organisations peuvent entraîner des modèles frontier et sur quel calendrier. L'approvisionnement en puces d'IA les plus avancées de NVIDIA est contraint par la capacité de fabrication de pointe de TSMC et, depuis octobre 2022, par les contrôles d'exportation du Département du Commerce américain restreignant l'expédition d'accélérateurs d'IA avancés vers certains pays — des règles qui ont été resserrées davantage en 2023 et 2024.
En 2026, NVIDIA détient une part de marché dominante dans les accélérateurs d'IA, avec ses H100 (2022), H200 (2024) et B100/B200 d'architecture Blackwell (2024–2025) comme plates-formes principales pour l'entraînement de modèles frontier. Le MI300X d'AMD et le Gaudi 3 d'Intel sont des alternatives compétitives utilisées dans certains déploiements des hyperscalers. Plusieurs grandes entreprises technologiques — Google (TPU v5), Amazon (Trainium 2), Meta (MTIA) et Microsoft (Maia) — ont déployé des accélérateurs d'IA personnalisés pour réduire la dépendance à NVIDIA, bien que l'écosystème CUDA de NVIDIA et la maturité logicielle maintiennent sa position en tant que plate-forme par défaut pour la plupart des recherches en IA et du déploiement commercial.