La pénurie de mémoire, principal goulot d'étranglement de l'infrastructure IA selon Huang

À Dell World, à Las Vegas, le PDG de Nvidia, Jensen Huang, a abordé un problème critique pour toute l'industrie de l'IA : la pénurie de mémoire à haute bande passante. Lors d'un échange avec le PDG de Dell, Michael Dell, et le journaliste de Bloomberg Ed Ludlow, Huang a dit sans détour que le manque de mémoire s'est révélé plus aigu que les goulets d'étranglement de la fabrication des puces elles-mêmes. C'est un aveu franc : le rythme de déploiement de l'infrastructure IA ralentit non pas faute de GPU, mais parce que l'industrie ne parvient pas à produire la quantité de mémoire nécessaire.

Pourquoi la mémoire est devenue rare

La mémoire HBM (High Bandwidth Memory) est un type de mémoire spécial, intégré directement à l'accélérateur. Elle stocke les paramètres des réseaux de neurones et les calculs intermédiaires, ce qui permet au GPU de tourner à pleine vitesse, sans les délais d'accès à la mémoire système, plus lente. Les H100 et H200 de Nvidia embarquent de 80 à 141 gigaoctets de cette mémoire.

Le problème, c'est que la demande de HBM croît de façon exponentielle, tandis que la production ne suit même pas une croissance linéaire. Il y a un an, les grandes entreprises commandaient des centaines de GPU ; aujourd'hui, elles parlent de milliers ; bientôt, il leur en faudra des millions. La fabrication de mémoire obéit à un cycle technologique de plusieurs années : les nouvelles usines mettent cinq à sept ans à sortir de terre, la technologie se complexifie sans cesse et les concurrents sont très peu nombreux sur ce segment.

Qui est le plus touché

Les principaux fabricants de mémoire, les Sud-Coréens Samsung et SK Hynix et l'Américain Micron, n'arrivent pas à suivre la hausse de la demande. Les trois investissent des dizaines de milliards dans de nouvelles capacités de production, mais cela ne suffit pas : le retard se creuse déjà de façon géométrique. Il en résulte une cascade de problèmes tout au long de la chaîne d'approvisionnement :

• Hausse des prix : les GPU dotés de suffisamment de mémoire coûtent 1.5 à 2 fois plus cher sur le marché secondaire
• Incertitude stratégique : les entreprises ne savent pas si elles recevront le matériel nécessaire à temps
• Sacrifices d'architecture : il faut recourir à des modèles plus petits et répartir le calcul sur davantage de GPU
• Stratification du marché : ceux qui signeront les premiers des contrats d'approvisionnement en mémoire obtiendront un avantage concurrentiel significatif

Même Dell, l'un des plus grands intégrateurs de serveurs, dépend de l'approvisionnement en mémoire. L'entreprise ne peut pas vendre davantage de serveurs IA haute performance sans GPU, et les GPU restent incomplets sans assez de mémoire.

Comment l'industrie réagit

Nvidia travaille activement sur de nouvelles générations de mémoire : HBM3e et HBM4 sont déjà en développement, avec une bande passante et des performances annoncées comme élevées. Mais le développement, la qualification et la production en série de nouveaux standards de mémoire se comptent en années, pas en mois.

Parallèlement, l'entreprise et ses partenaires cherchent des contournements logiciels : optimisation du logiciel et nouvelles architectures de réseaux de neurones qui exigent moins de mémoire par unité de performance. Mais là aussi, les limites sont strictes, car tous les modèles ne peuvent pas être allégés sans perdre en qualité de sortie.

Huang a déclaré qu'il ne s'agit pas d'un problème à court terme qui se réglera en quelques mois.

La pénurie de mémoire restera une contrainte sérieuse pendant au moins les prochaines années.

Ce que cela signifie pour l'industrie de l'IA

La pénurie de mémoire devient un nouveau plafond pour la vitesse de déploiement de l'infrastructure IA. Toutes les entreprises ne pourront pas déployer de grands modèles de langage à l'échelle et dans les délais voulus. Cela crée un net clivage du marché : ceux qui s'assureront un accès à la mémoire en premier progresseront plus vite, ceux qui arriveront trop tard prendront du retard.

Pour les investisseurs en capital-risque et les startups, cela signifie que l'obtention du matériel nécessaire devient aussi critique pour réussir que l'idée et l'équipe. Cela rappelle l'époque des pénuries de silicium, où le simple fait de disposer de puces donnait un avantage concurrentiel.