Hardware

Memória de Alta Largura de Banda (HBM)

Memória de Alta Largura de Banda (HBM) é uma tecnologia DRAM empilhada que une múltiplos cristais de memória verticalmente e os conecta a uma GPU através de um barramento interno muito amplo, alcançando larguras de banda de memória de vários terabytes por segundo — muito superiores à memória GDDR convencional.

HBM é um tipo de DRAM engenheirado para largura de banda extrema ao invés de baixo custo por bit. Múltiplos cristais DRAM finos são empilhados verticalmente usando vias através do silício (TSVs) e montados em um interposer adjacente ao cristal processador em um pacote 2.5D. Esse arranjo permite uma largura de barramento de 1.024 bits por stack HBM — comparado a 32 bits para um canal GDDR6 típico — operado em velocidades de clock moderadas, alcançando larguras de banda que interfaces externas com traços longos não conseguem igualar sob consumo de potência aceitável.

JEDEC padronizou HBM em 2013; gerações subsequentes incluem HBM2 (2016), HBM2E (2018), HBM3 (2022) e HBM3E (2024). H100 da NVIDIA usa HBM3 e entrega aproximadamente 3,35 TB/s de largura de banda de memória; MI300X da AMD, também usando HBM3 através de um pacote multi-chip com 192 GB total, alcança aproximadamente 5,3 TB/s. HBM4 está em desenvolvimento ativo com metas de largura de banda por stack acima de 6 TB/s. SK Hynix, Samsung e Micron são os três fabricantes primários de HBM, e insuficiências de fornecimento para HBM3E foram um gargalo documentado na disponibilidade de hardware de IA através de 2024–2025.

HBM é central para o desempenho de IA porque grandes redes neurais são fortemente limitadas por largura de banda de memória: unidades de computação podem teoricamente executar mais aritmética do que podem ser alimentadas com dados de DRAM mais lenta, um fenômeno chamado de memory wall. Maior largura de banda reduz a fração de tempo que as unidades de computação ficam ociosas esperando por pesos ou ativações, melhorando a vazão e a eficiência energética por FLOP útil. A proximidade física dos stacks HBM ao die de computação também reduz a latência de acesso comparado a soluções de memória fora do pacote.

A partir de 2026, HBM3E é o padrão dominante em aceleradores de IA de fronteira; GPUs de consumidor continuam usando GDDR7, preservando uma lacuna ampla de custo e desempenho entre segmentos. A importância estratégica de HBM é refletida na política de controle de exportações: o governo dos EUA restringiu o envio de HBM avançado usado em chips de IA para certos países, tratando-o como um componente crítico facilitador para treinamento de IA em larga escala.

Exemplo

Os seis stacks HBM3 de uma GPU H100 entregam 3,35 TB/s de largura de banda ao chip, permitindo que ele sustente utilização de FLOP próxima ao pico ao fazer streaming das grandes matrizes de peso de um transformador de 70B parâmetros através de seus núcleos de computação.

Termos relacionados

← Glossário