Escassez de memória é o maior gargalo da infraestrutura de IA, diz Huang

Na Dell World, em Las Vegas, o CEO da Nvidia, Jensen Huang, tratou de um problema crítico para toda a indústria de IA: a escassez de memória de alta largura de banda. Em conversa com o CEO da Dell, Michael Dell, e o jornalista da Bloomberg Ed Ludlow, Huang disse sem rodeios que a falta de memória se mostrou mais aguda que os próprios gargalos na fabricação de chips. É uma admissão franca de que o ritmo de implantação da infraestrutura de IA está diminuindo não por falta de GPUs, mas porque não se consegue produzir a quantidade necessária de memória.

Por que a memória virou um recurso escasso

A memória HBM (High Bandwidth Memory) é um tipo especial de memória integrada diretamente ao acelerador. Ela armazena os parâmetros das redes neurais e os cálculos intermediários, permitindo que a GPU trabalhe em velocidade máxima, sem os atrasos de acesso à memória do sistema, mais lenta. As H100 e H200 da Nvidia têm de 80 a 141 gigabytes dessa memória.

O problema é que a demanda por HBM cresce de forma exponencial, enquanto a produção nem sequer acompanha um crescimento linear. Há um ano, grandes empresas encomendavam centenas de GPUs; agora falam em milhares; em breve vão precisar de milhões. A fabricação de memória segue um ciclo tecnológico de vários anos: novas fábricas levam de cinco a sete anos para ficar prontas, a tecnologia fica cada vez mais complexa e há pouquíssimos concorrentes nesse segmento.

Quem sofre mais

Os principais fabricantes de memória, as sul-coreanas Samsung e SK Hynix e a americana Micron, não dão conta do crescimento da demanda. As três investem dezenas de bilhões em nova capacidade de produção, mas nem isso basta: o atraso já cresce de forma geométrica. Isso gera uma cascata de problemas em toda a cadeia de suprimentos:

• Preços em alta: GPUs com memória suficiente custam de 1.5 a 2 vezes mais no mercado secundário
• Incerteza estratégica: as empresas não sabem se receberão o equipamento necessário no prazo
• Sacrifícios de arquitetura: é preciso usar modelos menores e distribuir o processamento entre mais GPUs
• Estratificação do mercado: quem fechar antes os contratos de fornecimento de memória terá uma vantagem competitiva significativa

Até a Dell, uma das maiores integradoras de servidores, depende do fornecimento de memória. A empresa não consegue vender mais servidores de IA de alto desempenho se não há GPUs, e as GPUs ficam incompletas sem memória suficiente.

Como a indústria reage

A Nvidia trabalha ativamente em novas gerações de memória: HBM3e e HBM4 já estão em desenvolvimento, com largura de banda e desempenho projetados como altos. No entanto, o desenvolvimento, a qualificação e a produção em massa de novos padrões de memória levam anos, não meses.

Em paralelo, a empresa e seus parceiros buscam alternativas por software: otimização de software e novas arquiteturas de redes neurais que exijam menos memória por unidade de desempenho. Mas isso também tem limites rígidos, já que nem todos os modelos podem ser reduzidos sem perder qualidade na saída.

Huang afirmou que esse não é um problema de curto prazo, que se resolva em meses.

A escassez de memória continuará sendo um fator limitante sério por pelo menos os próximos anos.

O que isso significa para a indústria de IA

A escassez de memória se torna um novo teto para a velocidade de implantação da infraestrutura de IA. Nem todas as empresas conseguirão colocar grandes modelos de linguagem em operação na escala e nos prazos de que precisam. Isso cria uma divisão clara no mercado: quem garantir antes o acesso à memória avançará mais rápido, e quem demorar ficará para trás.

Para investidores de venture capital e startups, isso significa que obter o hardware necessário se torna tão crítico para o sucesso quanto a ideia e o time. Lembra a era das escassezes de silício, quando só ter chips já dava vantagem competitiva.