Дефицит памяти стал главным узким местом в AI-инфраструктуре — Huang

Na conferência Dell World em Las Vegas, o CEO da Nvidia Jensen Huang levantou um problema crítico que afeta toda a indústria de IA: a escassez de memória de alta velocidade. Em uma conversa com o CEO da Dell Michael Dell e o jornalista da Bloomberg Ed Ludlow, Huang declarou diretamente que a escassez de memória se tornou mais aguda do que os próprios gargalos de fabricação de chips. Este é um reconhecimento franco de que o ritmo de implantação da infraestrutura de IA está desacelerando não pela falta de GPUs em si, mas pela incapacidade de produzir a quantidade necessária de memória.

Por que a Memória se Tornou Escassa

A memória de alta velocidade HBM (High Bandwidth Memory) é um tipo especial de memória incorporada diretamente no acelerador. Ela armazena parâmetros de redes neurais e computações intermediárias, permitindo que a GPU funcione em velocidade total sem latência ao acessar a memória do sistema mais lenta. Os H100 e H200 da Nvidia têm entre 80 e 141 gigabytes dessa memória.

O problema é que a demanda por HBM está crescendo exponencialmente, enquanto a produção nem acompanha o crescimento linear. Um ano atrás, grandes empresas pediam centenas de GPUs; agora é sobre milhares; em breve serão necessários milhões. A produção de memória é um ciclo tecnológico de vários anos: novas fábricas são construídas em cinco a sete anos, a tecnologia se torna cada vez mais complexa e há muito poucos concorrentes neste segmento.

Quem É Mais Afetado

Os principais produtores de memória — Samsung e SK Hynix da Coreia do Sul, bem como a Micron americana — estão com dificuldades para acompanhar o crescimento da demanda. Todas as três empresas estão investindo dezenas de bilhões em novas capacidades de produção, mas nem isso é suficiente: o déficit já está crescendo geometricamente. Isso cria uma cascata de problemas em toda a cadeia de suprimentos:

• Os preços estão subindo: GPUs com memória suficiente ficam 1,5 a 2 vezes mais caras no mercado secundário
• Incerteza estratégica: as empresas não sabem se receberão o equipamento necessário em tempo hábil
• Compromissos arquitetônicos: forçados a usar modelos mais estreitos, distribuir computações entre um maior número de GPUs
• Estratificação de mercado: aqueles que garantirem contratos de fornecimento de memória primeiro ganharão vantagem competitiva significativa

Até mesmo Dell, um dos maiores integradores de servidores, depende dos fornecimentos de memória. A empresa não pode vender mais servidores de IA de alto desempenho se não houver GPUs, e as GPUs permanecem incompletas sem capacidade de memória suficiente.

Como a Indústria Está Respondendo

A Nvidia está trabalhando ativamente em novas gerações de memória — HBM3e e HBM4 já estão em desenvolvimento, com largura de banda e desempenho esperados altos. No entanto, o cronograma para desenvolvimento, qualificação e produção em massa de novos padrões de memória é medido em anos, não em meses. Em paralelo, a empresa e seus parceiros estão procurando soluções de software: otimização de software, novas arquiteturas de redes neurais que exigem menos memória por unidade de desempenho. Mas isso também tem limites rígidos — nem todos os modelos podem ser reduzidos sem perder a qualidade da saída.

Huang afirmou: este não é um problema de curto prazo a ser resolvido em meses.

A escassez de memória permanecerá um fator limitante sério por pelo menos os próximos anos.

O Que Isso Significa para a Indústria de IA

A escassez de memória está se tornando um novo teto para o ritmo de implantação da infraestrutura de IA. Nem todas as empresas conseguirão implantar modelos de linguagem grandes na escala e cronograma necessários. Isso cria uma clara estratificação de mercado: aqueles que garantirem acesso à memória primeiro se desenvolverão mais rapidamente, enquanto aqueles que ficarem para trás ficarão defasados. Para investidores de risco e startups, isso significa que obter o equipamento certo se torna um fator de sucesso tão crítico quanto a ideia e o time. Isso remete à era de escassez de silício, quando simplesmente ter chips fornecia vantagem competitiva.