Prometheus: servidor da Majestic Labs com 128 TB de memória para IA

A Majestic Labs, startup de hardware para IA, desenvolve um novo servidor de IA, o Prometheus, com até 128 terabytes de memória. É mais de 60 vezes a memória do servidor topo de linha Nvidia DGX B300, um dos sistemas de série mais potentes do mercado para cargas de trabalho de IA. Segundo a IEEE Spectrum, a empresa aposta em uma arquitetura construída inteiramente em torno da memória DRAM para resolver o chamado "muro de memória" (memory wall), uma das principais limitações de desempenho na inferência de grandes modelos de linguagem.

Por que a memória virou o principal gargalo da IA

• Produto: o servidor Prometheus, da Majestic Labs
• Memória: até 128 terabytes
• Comparação: mais de 60 vezes a memória do Nvidia DGX B300
• Arquitetura: unificada e baseada inteiramente em DRAM (especificamente LPDDR6), ao contrário da combinação de HBM e DRAM da Nvidia
• Figura-chave: Sha Rabii, cofundador e presidente da Majestic Labs

Segundo um influente trabalho científico citado pela IEEE Spectrum, a geração de tokens em grandes modelos de linguagem é limitada, por natureza, pela velocidade da memória. A rapidez com que o modelo produz texto depende de quão depressa os dados, sobretudo os pesos do modelo, podem ser lidos da memória, e não da velocidade das unidades de computação. Quanto maior o modelo, mais grave o problema. O resultado é um "muro de memória" que limita o desempenho da inferência, não importa quanto cresça o poder de processamento: por mais núcleos e unidades tensoriais que os engenheiros adicionem, a velocidade de saída esbarra na largura de banda e no volume de memória disponível.

Como a arquitetura DRAM do

Prometheus se diferencia da abordagem da Nvidia

Sha Rabii, cofundador e presidente da Majestic Labs, afirma que a escala de memória é o que dá à empresa sua vantagem competitiva. Segundo ele, a Nvidia "fez um trabalho fenomenal ao criar um sistema capaz de escalar", mas, com o crescimento dos modelos, essa abordagem fica cada vez menos econômica: o sistema "acaba superdimensionado em computação e faminto por memória". Os servidores da Nvidia hoje usam memória rápida de alta largura de banda (HBM), em geral para guardar os pesos do modelo, e um pool separado de DRAM, normalmente maior porém mais lento, que atende às demais tarefas do LLM e à sobrecarga do servidor.

A Majestic Labs escolheu um caminho radicalmente diferente: uma arquitetura unificada, construída inteiramente sobre DRAM, mais precisamente memória do padrão LPDDR6, sem divisão entre pools rápido e lento. Segundo Rabii, a maioria das interfaces de memória foi projetada para operar a distâncias físicas muito curtas, às vezes de apenas alguns milímetros, e é isso que limita fisicamente quanta memória cabe em um sistema mantendo alta largura de banda.

O que isso pode significar para o mercado de infraestrutura de IA

Se a aposta da Majestic Labs der certo, a empresa oferecerá ao mercado uma fonte alternativa de poder de processamento para cargas que hoje sofrem justamente com falta de memória: trabalho com contexto longo, modelos de mistura de especialistas com grande número total de parâmetros e ativação esparsa, e uso intenso de cache KV ao atender muitas requisições paralelas. Isso desafia a suposição comum de que a corrida da infraestrutura de IA se resume principalmente ao número de GPUs e ao poder de processamento medido em flops: o Prometheus desloca parte do foco competitivo para a capacidade e a arquitetura da memória. Dada a posição dominante da Nvidia no mercado de servidores de IA, a aposta da startup em uma arquitetura construída em torno da memória, e não do processamento, se destaca entre a maioria dos players, que em geral seguem o roteiro centrado em computação traçado pela Nvidia nos últimos anos.

O simples surgimento de um projeto assim mostra que o "muro de memória" deixou de ser um tema restrito a artigos acadêmicos e virou um incentivo comercial para abrir uma nova startup de hardware. Se a Majestic Labs levar o Prometheus à produção em série, operadores de data centers e provedores de nuvem terão, pela primeira vez em muito tempo, uma alternativa real ao pacote padrão "GPU mais HBM", e a concorrência em infraestrutura de IA deixará de se resumir apenas à comparação da quantidade e da geração de aceleradores gráficos.