Intel D270 offre jusqu’à 480 Go à la place de la HBM, et les pools CXL réduisent le TTFT jusqu’à 40 %

Le récapitulatif d’octobre de Selectel consacré au matériel serveur ressemble à une succession d’annonces disparates, mais un fil conducteur s’en dégage. Le secteur cherche à contourner le coût et la pénurie de HBM, tout en déterminant où, à l’ère des agents, les processeurs classiques sont nécessaires plutôt que les GPU. Si vous prévoyez de faire tourner l’inférence sur votre propre matériel, ces nouvelles constituent une grille de lecture utile des tendances pour 2027.

La capacité mémoire plutôt que la vitesse : le pari d’Intel et du CXL

L’idée centrale du mois est simple. Pour l’inférence avec de longs contextes, la capacité mémoire compte souvent davantage que la bande passante maximale. Le modèle et le cache KV doivent tout simplement tenir en mémoire.

Intel a conçu son accélérateur Crescent Island, également appelé GPU D270, autour de ce principe. Il utilise de la LPDDR5X à la place de la HBM : jusqu’à 480 Go pour les versions partenaires et 160 Go pour la carte de référence. Cette carte double slot dispose d’une interface PCIe 5.

0 x16, d’un refroidissement par air et d’un TDP de 350 W. Selon les estimations d’Intel, une carte peut accueillir un modèle de 300 milliards de paramètres, et huit cartes peuvent prendre en charge des modèles de plus de mille milliards de paramètres. La prise en charge de PyTorch, vLLM, SGLang et Triton est annoncée.

À titre de comparaison, l’AMD Instinct MI450X dispose de jusqu’à 432 Go de HBM4, et le NVIDIA Rubin de 288 Go. Les capacités sont comparables, les bandes passantes ne le sont pas. L’auteur du récapitulatif souligne aussi un point faible : Intel ne dit rien des liaisons entre les cartes, où le PCIe deviendra un goulot d’étranglement.

Le CXL aborde le même problème sous un autre angle. Marvell a présenté les contrôleurs d’extension mémoire Structera X 3406 et 3506. Le premier prend en charge jusqu’à 9 To de mémoire DDR4 d’ancienne génération, le second jusqu’à 6 To de DDR5. Un contrôleur dessert jusqu’à quatre hôtes, et la compression LZ4 intégrée multiplie, selon Marvell, la capacité effective par 2–3. Pour les LLM, la promesse est un délai avant le premier token (TTFT) réduit de 40–50 % à longueur de contexte identique. L’idée consiste à transformer un parc de serveurs DDR4 en pool partagé pour le cache KV.

Samsung et AMD ont présenté une approche similaire reposant sur des modules CMM-D et le mécanisme Dynamic Capacity Device. La mémoire est attribuée à l’hôte à la demande, puis restituée. Si le contexte d’une instance du modèle s’allonge, celle-ci emprunte temporairement de la capacité au pool. Selon Samsung, le TTFT diminue jusqu’à 38 %, tandis que le goodput est multiplié par jusqu’à 3,3 par rapport à une allocation statique.

Les agents ont besoin de racks de CPU

Deuxième tendance : les charges de travail des agents ne se limitent pas à l’inférence. Les appels d’outils, l’exécution de code, les bacs à sable et l’orchestration tournent sur CPU. AMD a lancé Helion, une conception de référence de rack ORv3 reposant exclusivement sur des EPYC Venice et totalisant jusqu’à 32 768 cœurs. Une variante destinée aux entreprises peut accueillir jusqu’à 16 GPU Instinct MI350P. Le même jour, NVIDIA a transmis à l’OCP les spécifications MGX 1.2 et décrit son propre rack à CPU Vera pour les mêmes tâches. La coïncidence semble délibérée : le rack de CPU devient une unité d’infrastructure à part entière.

Parmi les annonces connexes : Microsoft Maia 300, avec 288 Go de HBM4 pour l’inférence et les agents ; Astera Labs Orion, qui permet de réunir jusqu’à 80 accélérateurs PCIe de tout type dans un rack, sans dépendre de NVIDIA ni d’AMD ; et le SSD Kioxia GP1, avec plus de 20 millions d’IOPS, comme couche intermédiaire entre la HBM et les supports de stockage classiques.

Que faire de ces annonces et de quoi se méfier

Presque toutes ces nouveautés restent des conceptions de référence ou des échantillons. Les OEM disposent déjà d’échantillons d’ingénierie de l’Intel D270 ; Marvell promet des échantillons au premier trimestre 2027, tout comme Astera ; l’Altera Agilex 27 n’arrivera, lui, qu’au second semestre 2027. Il n’y a ni prix ni systèmes produits en série. Les chiffres, comme ceux du chinois Iluvatar présentant son Tiangai 300 comme étant « au niveau du H200 », proviennent de l’entreprise elle-même et de laboratoires qui lui sont liés, avec en plus une comparaison à une puce de 2023.

Les enseignements pratiques pour les équipes qui évaluent l’inférence sur leur propre infrastructure :

• Déterminez votre goulot d’étranglement : la capacité mémoire (long contexte, cache KV volumineux) ou la bande passante. La réponse permet de savoir si une mémoire « lente, mais de grande capacité » convient à vos besoins.
• Ne mettez pas au rebut les anciens serveurs DDR4 : grâce au CXL, ils peuvent devenir un pool de cache, mais attendez des mesures indépendantes.
• Prévoyez dans l’architecture de vos agents une infrastructure CPU dédiée aux outils et aux bacs à sable, en plus des GPU.
• Vérifiez la prise en charge de vLLM et de SGLang avant tout achat. Les promesses d’un communiqué de presse ne remplacent pas des kernels fonctionnels.

Le principal constat : la prochaine course aux infrastructures d’IA se jouera autant sur le gigaoctet bon marché par token de contexte que sur les FLOPS.