La escasez de memoria, el mayor cuello de botella de la infraestructura de IA, según Huang

En Dell World, en Las Vegas, el CEO de Nvidia, Jensen Huang, abordó un problema crítico para toda la industria de la IA: la escasez de memoria de alto ancho de banda. En una conversación con el CEO de Dell, Michael Dell, y el periodista de Bloomberg Ed Ludlow, Huang dijo sin rodeos que la falta de memoria resultó ser más aguda que los propios cuellos de botella en la fabricación de chips. Es un reconocimiento franco de que el ritmo de despliegue de la infraestructura de IA se frena no por falta de GPU, sino porque no se puede producir la cantidad necesaria de memoria.

Por qué la memoria escasea

La memoria HBM (High Bandwidth Memory) es un tipo especial de memoria integrada directamente en el acelerador. Almacena los parámetros de las redes neuronales y los cálculos intermedios, y permite que la GPU trabaje a plena velocidad sin las demoras de acceso a la memoria del sistema, más lenta. Las H100 y H200 de Nvidia tienen entre 80 y 141 gigabytes de esta memoria.

El problema es que la demanda de HBM crece de forma exponencial, mientras que la producción ni siquiera sigue el ritmo de un crecimiento lineal. Hace un año, las grandes empresas pedían cientos de GPU; ahora hablan de miles; pronto necesitarán millones. La fabricación de memoria sigue un ciclo tecnológico de varios años: las nuevas plantas tardan de cinco a siete años en construirse, la tecnología es cada vez más compleja y hay muy pocos competidores en este segmento.

A quién afecta más

Los principales fabricantes de memoria, las surcoreanas Samsung y SK Hynix y la estadounidense Micron, no logran seguir el ritmo de la demanda. Las tres invierten decenas de miles de millones en nueva capacidad de producción, pero ni así basta: el desfase ya crece de forma geométrica. Esto genera una cascada de problemas en toda la cadena de suministro:

• Suben los precios: las GPU con suficiente memoria cuestan entre 1.5 y 2 veces más en el mercado secundario
• Incertidumbre estratégica: las empresas no saben si recibirán el equipo necesario a tiempo
• Sacrificios de arquitectura: hay que usar modelos más pequeños y repartir el cómputo entre más GPU
• Estratificación del mercado: quienes firmen antes los contratos de suministro de memoria obtendrán una ventaja competitiva significativa

Incluso Dell, uno de los mayores integradores de servidores, depende del suministro de memoria. La compañía no puede vender más servidores de IA de alto rendimiento si no hay GPU, y las GPU quedan incompletas sin suficiente memoria.

Cómo responde la industria

Nvidia trabaja activamente en nuevas generaciones de memoria: HBM3e y HBM4 ya están en desarrollo, con un ancho de banda y un rendimiento previstos como altos. Sin embargo, el desarrollo, la cualificación y la producción en masa de nuevos estándares de memoria llevan años, no meses.

En paralelo, la compañía y sus socios buscan soluciones por software: optimización del software y nuevas arquitecturas de redes neuronales que requieran menos memoria por unidad de rendimiento. Pero esto también tiene límites estrictos, ya que no todos los modelos se pueden recortar sin perder calidad en la salida.

Huang afirmó que no es un problema a corto plazo que se resuelva en meses.

La escasez de memoria seguirá siendo un factor limitante serio durante al menos los próximos años.

Qué significa para la industria de la IA

La escasez de memoria se convierte en un nuevo techo para la velocidad de despliegue de la infraestructura de IA. No todas las empresas podrán implantar grandes modelos de lenguaje a la escala y en los plazos que necesitan. Esto crea una clara división del mercado: quienes aseguren antes el acceso a la memoria avanzarán más rápido, y quienes lleguen tarde se quedarán atrás.

Para inversores de capital riesgo y startups, esto significa que conseguir el hardware necesario es tan crítico para el éxito como la idea y el equipo. Recuerda a la época de las escaseces de silicio, cuando el simple hecho de tener chips daba una ventaja competitiva.