Mémoire à haut débit (HBM)
La mémoire à haut débit (HBM) est une technologie DRAM empilée qui lie plusieurs matrices mémoire verticalement et les connecte à un GPU via un bus interne très large, atteignant des débits mémoire de plusieurs téraoctets par seconde—dépassant de loin la mémoire GDDR conventionnelle.
La HBM est un type de DRAM conçu pour une bande passante extrême plutôt qu'un coût faible par bit. Plusieurs matrices DRAM minces sont empilées verticalement en utilisant des vias traversant le silicium (TSV) et montées sur un interposeur adjacent à la matrice du processeur dans un boîtier 2.5D. Cet arrangement permet une largeur de bus de 1 024 bits par pile HBM—comparée à 32 bits pour un canal GDDR6 typique—opéré à des vitesses d'horloge modérées, réalisant des débits que les interfaces hors-boîtier à long tracé ne peuvent pas égaler à une puissance acceptable.
JEDEC a standardisé la HBM en 2013 ; les générations suivantes incluent HBM2 (2016), HBM2E (2018), HBM3 (2022) et HBM3E (2024). Le H100 de NVIDIA utilise HBM3 et délivre environ 3,35 TB/s de débit mémoire ; le MI300X d'AMD, utilisant également HBM3 sur un boîtier multi-puce avec 192 GB au total, atteint environ 5,3 TB/s. HBM4 est en développement actif avec des objectifs de débit par pile au-delà de 6 TB/s. SK Hynix, Samsung et Micron sont les trois principaux fabricants de HBM, et les pénuries d'approvisionnement en HBM3E ont été un goulot d'étranglement documenté dans la disponibilité du matériel IA jusqu'à 2024–2025.
La HBM est centrale pour la performance IA car les grands réseaux de neurones sont fortement limités par la bande passante mémoire : les unités de calcul peuvent théoriquement exécuter plus d'opérations arithmétiques qu'elles ne peuvent être nourries avec des données depuis la DRAM plus lente, un phénomène appelé le mur mémoire. Une bande passante plus élevée réduit la fraction de temps que les unités de calcul restent inactives en attente de poids ou d'activations, améliorant le débit et l'efficacité énergétique par FLOP utile. La proximité physique des piles HBM au circuit de calcul réduit également la latence d'accès par rapport aux solutions de mémoire hors-boîtier.
En 2026, HBM3E est la norme dominante dans les accélérateurs IA frontière ; les GPUs grand public continuent d'utiliser GDDR7, préservant un large écart de coût et de performance entre les segments. L'importance stratégique de la HBM est reflétée dans la politique de contrôle des exportations : le gouvernement américain a restreint l'expédition de HBM avancée utilisée dans les puces IA vers certains pays, la traitant comme un élément d'activation critique pour l'entraînement IA à grande échelle.