Intel D270 ofrece hasta 480 GB en lugar de HBM y los pools CXL reducen el TTFT al 40%

El resumen de hardware para servidores de octubre de Selectel parece una colección de anuncios inconexos, pero tiene un hilo conductor. La industria intenta sortear el elevado precio y la escasez de HBM y, al mismo tiempo, determinar dónde hacen falta procesadores convencionales en la era de los agentes. Si estáis pensando en ejecutar inferencia en hardware propio, estas noticias sirven como mapa de tendencias para 2027.

Capacidad antes que velocidad: la apuesta de Intel y CXL

La idea principal del mes es sencilla. En la inferencia con contextos largos, la capacidad de memoria suele importar más que su ancho de banda máximo. El modelo y la caché KV, sencillamente, tienen que caber.

Intel ha desarrollado sobre esta premisa el acelerador Crescent Island, también conocido como GPU D270. En lugar de HBM, utiliza LPDDR5X: hasta 480 GB en las versiones de sus socios y 160 GB en la tarjeta de referencia. Es una tarjeta de doble ranura, PCIe 5.

0 x16, con refrigeración por aire y un TDP de 350 W. Según las estimaciones de Intel, una sola tarjeta puede alojar un modelo de 300.000 millones de parámetros, y ocho tarjetas pueden manejar modelos de más de un billón de parámetros.

Se promete compatibilidad con PyTorch, vLLM, SGLang y Triton. Como referencia, la AMD Instinct MI450X ofrece hasta 432 GB de HBM4 y NVIDIA Rubin, 288 GB. La capacidad es comparable; el ancho de banda, no.

El autor del resumen también señala un punto débil: Intel no dice nada sobre la interconexión entre tarjetas, donde PCIe se convertirá en el cuello de botella.

CXL aborda el mismo problema desde otro ángulo. Marvell ha presentado los expansores de memoria Structera X 3406 y 3506. El primero admite hasta 9 TB con la veterana DDR4; el segundo, hasta 6 TB con DDR5. Un solo controlador da servicio a un máximo de cuatro hosts y, según Marvell, la compresión LZ4 integrada multiplica la capacidad efectiva por 2–3. Para los LLM, la compañía promete un TTFT un 40–50% menor con la misma longitud de contexto. La idea es convertir un parque de servidores DDR4 en un pool compartido para la caché KV.

Samsung y AMD han mostrado un esquema similar con módulos CMM-D y el mecanismo Dynamic Capacity Device. La memoria se asigna al host bajo demanda y después se devuelve. Si crece el contexto de una instancia del modelo, esta toma temporalmente capacidad del pool. Según Samsung, el TTFT baja al 38% y el goodput aumenta hasta 3,3 veces frente a la asignación estática.

Los agentes necesitan racks de CPU

La segunda tendencia: las cargas de trabajo de los agentes van más allá de la inferencia. Las llamadas a herramientas, la ejecución de código, los entornos aislados y la orquestación se ejecutan en CPU. AMD ha lanzado el diseño de referencia Helion, un rack ORv3 basado exclusivamente en procesadores EPYC Venice, con hasta 32.768 núcleos en total. Para clientes empresariales hay una variante con hasta 16 GPU Instinct MI350P. Ese mismo día, NVIDIA entregó a OCP las especificaciones MGX 1.2 y describió su propio rack con CPU Vera para las mismas tareas. La coincidencia parece poco casual: el rack de CPU se está convirtiendo en una unidad de infraestructura por derecho propio.

Otros anuncios relacionados: Microsoft Maia 300, con 288 GB de HBM4 para inferencia y agentes; Astera Labs Orion, con hasta 80 aceleradores PCIe de cualquier tipo por rack, sin depender de NVIDIA o AMD; y el SSD Kioxia GP1, con más de 20 millones de IOPS, como capa intermedia entre la HBM y las unidades convencionales.

Qué hacer con estos anuncios y qué afirmaciones cuestionar

Casi todas estas novedades siguen siendo diseños de referencia o muestras. Los fabricantes OEM ya tienen muestras de ingeniería de Intel D270; Marvell promete muestras para el primer trimestre de 2027, al igual que Astera; y Altera Agilex 27 no llegará hasta la segunda mitad de 2027. Todavía no hay precios ni sistemas de producción en serie. Cifras como las de la empresa china Iluvatar para su Tiangai 300, supuestamente «al nivel de H200», proceden de la propia compañía y de laboratorios vinculados a ella, y además toman como referencia un chip de 2023.

Conclusiones prácticas para los equipos que evalúan ejecutar inferencia en infraestructura propia:

• Calculad cuál es vuestro cuello de botella: la capacidad de memoria (contextos largos, una caché KV grande) o el ancho de banda. De la respuesta depende que os sirva una memoria «más lenta, pero de mayor capacidad».
• No deis por amortizados los servidores antiguos con DDR4: mediante CXL podrían convertirse en un pool de caché, pero esperad a disponer de mediciones independientes.
• Incluid en la arquitectura de agentes una capa de CPU dedicada a herramientas y entornos aislados, además de las GPU.
• Comprobad la compatibilidad con vLLM y SGLang antes de comprar. Las promesas de una nota de prensa no sustituyen a los kernels que funcionan.

La conclusión principal: la próxima carrera de la infraestructura de IA no se libra solo por los FLOPS, sino también por abaratar el gigabyte por token de contexto.