High-Bandwidth Memory (HBM)
High-Bandwidth Memory (HBM) es una tecnología DRAM apilada que une múltiples matrices de memoria verticalmente y las conecta a una GPU a través de un bus interno muy amplio, logrando anchos de banda de memoria de varios terabytes por segundo — superando con creces la memoria GDDR convencional.
HBM es un tipo de DRAM diseñado para ancho de banda extremo en lugar de bajo costo por bit. Múltiples matrices DRAM delgadas se apilan verticalmente usando vías a través del silicio (TSV) y se montan en un interposer adyacente a la matriz del procesador en un paquete 2.5D. Este arreglo permite un ancho de bus de 1,024 bits por pila HBM — comparado a 32 bits para un canal GDDR6 típico — operado a velocidades de reloj moderadas, logrando anchos de banda que las interfaces fuera del paquete de largo rastro no pueden igualar con potencia aceptable.
JEDEC estandarizó HBM en 2013; las generaciones posteriores incluyen HBM2 (2016), HBM2E (2018), HBM3 (2022) y HBM3E (2024). NVIDIA's H100 usa HBM3 y entrega aproximadamente 3.35 TB/s de ancho de banda de memoria; AMD's MI300X, también usando HBM3 en un paquete multi-chip con 192 GB totales, alcanza alrededor de 5.3 TB/s. HBM4 está en desarrollo activo con objetivos de ancho de banda por pila por encima de 6 TB/s. SK Hynix, Samsung y Micron son los tres fabricantes primarios de HBM, y los déficits de suministro de HBM3E fueron un cuello de botella documentado en la disponibilidad de hardware de IA hasta 2024–2025.
HBM es central para el rendimiento de IA porque las grandes redes neuronales están fuertemente limitadas por ancho de banda de memoria: las unidades de cálculo pueden teóricamente ejecutar más aritmética de la que pueden alimentarse con datos de DRAM más lenta, un fenómeno llamado la pared de memoria. Un ancho de banda más alto reduce la fracción de tiempo que las unidades de cálculo se sientan inactivas esperando pesos o activaciones, mejorando el rendimiento y la eficiencia energética por FLOP útil. La proximidad física de las pilas HBM a la matriz de cálculo también reduce la latencia de acceso comparado con soluciones de memoria fuera del paquete.
A partir de 2026, HBM3E es el estándar dominante en aceleradores de IA de frontera; las GPU de consumidor continúan usando GDDR7, preservando una brecha amplia de costo y rendimiento entre segmentos. La importancia estratégica de HBM se refleja en la política de control de exportaciones: el gobierno de los EE.UU. ha restringido el envío de HBM avanzado utilizado en chips de IA a ciertos países, tratándolo como un componente habilitador crítico para el entrenamiento de IA a gran escala.