Железо

Память HBM

HBM (High-Bandwidth Memory) — тип трёхмерно сложенной памяти с широкой шиной данных, устанавливаемой непосредственно рядом с процессором на одном интерпозере. Обеспечивает пропускную способность, в 5–8 раз превышающую GDDR6, что критично для AI-ускорителей.

High-Bandwidth Memory (HBM) — архитектура памяти, в которой несколько слоёв DRAM укладываются вертикально с помощью технологии 3D-стекирования и соединяются через сотни тысяч микровыводов (TSV, through-silicon vias). Чип памяти размещается на кремниевом интерпозере рядом с GPU или NPU, а ширина шины данных достигает 1024–2048 бит — против 32 бит у одной планки GDDR6. Стандарт разработан совместно AMD и SK Hynix и впервые появился в GPU AMD Fury X в 2015 году.

Эволюция стандарта ускорилась с ростом AI-нагрузок. HBM2 (2016) обеспечивал около 256 ГБ/с на стек, HBM2e в NVIDIA A100 — до 2 ТБ/с суммарно по всему чипу, HBM3 в H100 — до 3,35 ТБ/с, HBM3e в H200 — 4,8 ТБ/с. Высокая пропускная способность критична потому, что трансформерные модели при инференсе являются memory-bound: GPU успевает выполнить вычисления быстрее, чем память успевает подать следующие веса.

Производство HBM остаётся высококонцентрированным: три компании — SK Hynix, Samsung и Micron — контролируют весь рынок. SK Hynix поставляет HBM3e для NVIDIA H200 и Blackwell. Дефицит HBM стал узким местом для поставок AI-ускорителей в 2023–2025 годах: производственный цикл занимает 12–18 месяцев, а расширение мощностей требует значительных капиталовложений. В 2026 году отрасль переходит на HBM4, обещающий пропускную способность свыше 6 ТБ/с на пакет.

Пример

Пакет NVIDIA H100 SXM5 содержит шесть стеков HBM3 суммарным объёмом 80 ГБ и суммарной пропускной способностью 3,35 ТБ/с, что позволяет подавать веса модели достаточно быстро для поддержания пиковых 2000 TFLOPS в формате BF16.

Связанные термины

← Глоссарий