Prometheus: servidor Majestic Labs com 128 TB de memória para IA

A startup de hardware de inteligência artificial Majestic Labs está desenvolvendo um novo servidor de IA Prometheus com capacidade de memória de até 128 terabytes — mais de 60 vezes a capacidade do servidor insignia DGX B300 da Nvidia, um dos sistemas de série mais poderosos para processar cargas de trabalho de IA no mercado. Conforme relatado pelo IEEE Spectrum, a companhia está apostando em uma arquitetura construída completamente em torno da memória DRAM para resolver o problema do chamado "muro de memória" (memory wall) — um dos principais gargalos de desempenho para inferência em modelos de linguagem grandes.

Por que a memória se tornou o principal gargalo para a IA

• Produto — servidor Prometheus da Majestic Labs
• Capacidade de memória — até 128 terabytes
• Comparação — mais de 60 vezes mais memória que Nvidia DGX B300
• Arquitetura — unificada, baseada completamente em DRAM (especificamente LPDDR6), ao contrário da combinação HBM e DRAM da Nvidia
• Figura-chave — Sha Rabii, cofundador e presidente da Majestic Labs

Segundo trabalho científico influente citado pelo IEEE Spectrum, a geração de tokens em modelos de linguagem grandes é fundamentalmente limitada pela velocidade da memória: a velocidade com a qual um modelo produz texto é determinada pela rapidez com a qual os dados — principalmente pesos do modelo — podem ser lidos da memória, não pela rapidez com que operam as unidades de computação. Quanto maior o modelo, mais agudo esse problema se torna, e eventualmente uma "parede de memória" emerge, que limita o desempenho de inferência independentemente do crescimento da potência computacional do processador — não importa quantos núcleos e blocos tensores os engenheiros adicionem, a velocidade final de saída de texto é limitada pela largura de banda da memória e pela capacidade de memória disponível.

Como a arquitetura DRAM do

Prometheus difere da abordagem da Nvidia

O cofundador e presidente da Majestic Labs, Sha Rabii, acredita que a escala de memória dá à companhia uma vantagem competitiva. De acordo com ele, Nvidia "fez um trabalho fenomenal criando um sistema capaz de escalar", mas conforme os modelos crescem, essa abordagem se torna cada vez menos econômica: o sistema "acaba com potência computacional excessiva e morrendo de fome por memória". Os servidores Nvidia hoje usam memória rápida de alta largura de banda (HBM) — geralmente para armazenar pesos do modelo — e um pool DRAM separado, tipicamente maior, mas mais lento, que manipula outras tarefas LLM e sobrecarga do servidor.

Majestic Labs escolheu um caminho fundamentalmente diferente: uma arquitetura unificada construída inteiramente em DRAM, especificamente memória LPDDR6, sem divisão em pools rápidos e lentos. De acordo com Rabii, a maioria das interfaces de memória foi projetada para operar em distâncias físicas muito curtas — às vezes apenas alguns milímetros — e é precisamente isso que limita fisicamente quanta memória pode ser colocada em um sistema enquanto mantém alta largura de banda.

O que isso pode significar para o mercado de infraestrutura de IA

Se a aposta da Majestic Labs se concretizar, a companhia oferecerá ao mercado uma fonte alternativa de potência de computação para cargas de trabalho que hoje carecem de memória — trabalho com contexto longo, modelos de especialistas mistos com grande volume total de parâmetros sob ativação esparsa, uso intensivo de cache KV ao servir múltiplas solicitações paralelas. Isso desafia a suposição comum de que a corrida em infraestrutura de IA é principalmente sobre o número de processadores gráficos e poder computacional em FLOPs: Prometheus desloca parte do foco competitivo para volume e arquitetura de memória. Dado o domínio posição da Nvidia no mercado de servidores de IA, a aposta de uma startup em uma arquitetura centrada em memória em vez de centrada em computação se destaca entre a maioria dos players que amplamente seguem o roteiro computacionalmente orientado estabelecido pela Nvidia nos últimos anos.

O próprio fato de tal projeto estar aparecendo mostra que a "parede de memória" deixou de ser um tópico acadêmico estreito e se tornou um incentivo comercial para lançar uma nova startup de hardware. Se Majestic Labs levar Prometheus à produção em série, operadores de data centers e provedores de nuvem terão pela primeira vez em muito tempo uma verdadeira alternativa ao conjunto padrão "GPU mais HBM", e a competição no segmento de infraestrutura de IA deixará de ser exclusivamente uma comparação do número e geração de aceleradores gráficos.