Prometheus : le serveur de Majestic Labs avec 128 To de mémoire pour l'IA

Majestic Labs, start-up spécialisée dans le matériel pour l'IA, développe un nouveau serveur d'IA, Prometheus, doté de jusqu'à 128 téraoctets de mémoire. C'est plus de 60 fois la mémoire du serveur phare Nvidia DGX B300, l'un des systèmes de série les plus puissants du marché pour les charges de travail d'IA. Selon IEEE Spectrum, l'entreprise mise sur une architecture entièrement construite autour de la mémoire DRAM pour s'attaquer au « mur de la mémoire » (memory wall), l'un des principaux freins aux performances d'inférence des grands modèles de langage.

Pourquoi la mémoire est devenue le principal goulot d'étranglement de l'IA

• Produit : le serveur Prometheus de Majestic Labs
• Mémoire : jusqu'à 128 téraoctets
• Comparaison : plus de 60 fois la mémoire du Nvidia DGX B300
• Architecture : unifiée et entièrement basée sur la DRAM (en l'occurrence la LPDDR6), contrairement à l'association HBM et DRAM de Nvidia
• Figure clé : Sha Rabii, cofondateur et président de Majestic Labs

Selon un travail scientifique influent cité par IEEE Spectrum, la génération de tokens des grands modèles de langage est par nature limitée par la vitesse de la mémoire. La rapidité avec laquelle un modèle produit du texte dépend de la vitesse à laquelle les données, avant tout les poids du modèle, peuvent être lues en mémoire, et non de la vitesse des unités de calcul. Plus le modèle est gros, plus le problème s'aggrave.

Il en résulte un « mur de la mémoire » qui plafonne les performances d'inférence quelle que soit la progression de la puissance de calcul des processeurs : quel que soit le nombre de cœurs et d'unités tensorielles ajoutés par les ingénieurs, la vitesse de sortie finit par buter sur la bande passante et le volume de mémoire disponibles.

En quoi l'architecture DRAM de

Prometheus se distingue de l'approche de Nvidia

Sha Rabii, cofondateur et président de Majestic Labs, estime que l'échelle de la mémoire est ce qui donne à l'entreprise son avantage concurrentiel. Selon lui, Nvidia a « fait un travail phénoménal en créant un système capable de passer à l'échelle », mais à mesure que les modèles grossissent, cette approche devient de moins en moins économique : le système « se retrouve surdimensionné en calcul et affamé de mémoire ». Les serveurs de Nvidia utilisent aujourd'hui de la mémoire rapide à haute bande passante (HBM), en général pour stocker les poids du modèle, ainsi qu'un pool de DRAM distinct, habituellement plus grand mais plus lent, qui prend en charge le reste des besoins du LLM et la charge système du serveur.

Majestic Labs a choisi une voie radicalement différente : une architecture unifiée, entièrement bâtie sur la DRAM, plus précisément sur de la mémoire de norme LPDDR6, sans séparation entre pools rapide et lent. D'après Rabii, la plupart des interfaces mémoire sont conçues pour fonctionner sur des distances physiques très courtes, parfois de quelques millimètres seulement, et c'est ce qui limite physiquement la quantité de mémoire qu'on peut placer dans un système tout en gardant une bande passante élevée.

Ce que cela peut changer pour le marché de l'infrastructure d'IA

Si le pari de Majestic Labs paie, l'entreprise proposera au marché une source alternative de puissance de calcul pour les charges qui manquent aujourd'hui précisément de mémoire : travail en contexte long, modèles à mélange d'experts avec un grand nombre total de paramètres et une activation parcimonieuse, usage intensif du cache KV lors du traitement de nombreuses requêtes parallèles. Cela remet en cause l'idée répandue selon laquelle la course à l'infrastructure d'IA se résume avant tout au nombre de GPU et à la puissance de calcul mesurée en flops : Prometheus déplace une partie de l'enjeu concurrentiel vers la capacité et l'architecture de la mémoire. Vu la position dominante de Nvidia sur le marché des serveurs d'IA, le pari de la start-up sur une architecture construite autour de la mémoire plutôt que du calcul se démarque de la plupart des acteurs, qui suivent globalement la feuille de route centrée sur le calcul fixée par Nvidia ces dernières années.

L'existence même d'un tel projet montre que le « mur de la mémoire » n'est plus un sujet pointu d'articles académiques, mais un moteur commercial pour lancer une nouvelle start-up matérielle. Si Majestic Labs mène Prometheus jusqu'à la production en série, les exploitants de centres de données et les fournisseurs de cloud disposeront, pour la première fois depuis longtemps, d'une vraie alternative à l'offre standard « GPU plus HBM », et la concurrence dans l'infrastructure d'IA ne se résumera plus uniquement à la comparaison du nombre et de la génération des accélérateurs graphiques.