Prometheus: el servidor de Majestic Labs con 128 TB de memoria para IA

Majestic Labs, una startup de hardware para IA, desarrolla un nuevo servidor de IA, Prometheus, con hasta 128 terabytes de memoria. Es más de 60 veces la memoria del servidor insignia Nvidia DGX B300, uno de los sistemas de serie más potentes del mercado para cargas de trabajo de IA. Según IEEE Spectrum, la empresa apuesta por una arquitectura construida por completo en torno a la memoria DRAM para resolver el llamado «muro de memoria» (memory wall), una de las principales limitaciones del rendimiento de inferencia de los grandes modelos de lenguaje.

Por qué la memoria se convirtió en el principal cuello de botella de la IA

• Producto: el servidor Prometheus de Majestic Labs
• Memoria: hasta 128 terabytes
• Comparación: más de 60 veces la memoria del Nvidia DGX B300
• Arquitectura: unificada y basada por completo en DRAM (en concreto LPDDR6), a diferencia de la combinación de HBM y DRAM de Nvidia
• Figura clave: Sha Rabii, cofundador y presidente de Majestic Labs

Según un influyente trabajo científico citado por IEEE Spectrum, la generación de tokens en los grandes modelos de lenguaje está limitada por naturaleza por la velocidad de la memoria. La rapidez con que un modelo produce texto depende de lo rápido que se puedan leer los datos de la memoria, sobre todo los pesos del modelo, y no de la velocidad de las unidades de cómputo. Cuanto mayor es el modelo, más se agrava el problema.

El resultado es un «muro de memoria» que limita el rendimiento de la inferencia sin importar cuánto crezca la potencia de cálculo de los procesadores: por muchos núcleos y unidades tensoriales que añadan los ingenieros, la velocidad de salida acaba condicionada por el ancho de banda y el volumen de memoria disponible.

En qué se diferencia la arquitectura DRAM de

Prometheus del enfoque de Nvidia

Sha Rabii, cofundador y presidente de Majestic Labs, sostiene que la escala de memoria es lo que da a la compañía su ventaja competitiva. Según dice, Nvidia «hizo un trabajo fenomenal al crear un sistema capaz de escalar», pero a medida que crecen los modelos, ese enfoque resulta cada vez menos económico: el sistema «acaba sobredimensionado en potencia de cálculo y hambriento de memoria». Los servidores de Nvidia emplean hoy memoria rápida de alto ancho de banda (HBM), por lo general para almacenar los pesos del modelo, además de un pool de DRAM aparte, normalmente mayor pero más lento, que atiende el resto de las tareas del LLM y la sobrecarga del servidor.

Majestic Labs eligió un camino radicalmente distinto: una arquitectura unificada construida íntegramente sobre DRAM, en concreto memoria del estándar LPDDR6, sin dividirla en pools rápido y lento. Según Rabii, la mayoría de las interfaces de memoria están diseñadas para operar a distancias físicas muy cortas, a veces de apenas unos milímetros, y eso es lo que limita físicamente cuánta memoria cabe en un sistema manteniendo un alto ancho de banda.

Qué puede significar para el mercado de infraestructura de IA

Si la apuesta de Majestic Labs funciona, la compañía ofrecerá al mercado una fuente alternativa de potencia de cálculo para las cargas que hoy se quedan cortas precisamente de memoria: trabajo con contexto largo, modelos de mezcla de expertos con un gran número total de parámetros y activación dispersa, y uso intensivo de la caché KV al atender muchas solicitudes en paralelo. Esto cuestiona la idea extendida de que la carrera de la infraestructura de IA se reduce sobre todo al número de GPU y a la potencia de cálculo medida en flops: Prometheus desplaza parte del foco competitivo hacia la capacidad y la arquitectura de la memoria. Dada la posición dominante de Nvidia en el mercado de servidores de IA, la apuesta de la startup por una arquitectura construida en torno a la memoria y no al cálculo destaca frente a la mayoría de los actores, que en general siguen la hoja de ruta centrada en el cómputo que Nvidia ha marcado en los últimos años.

La mera aparición de un proyecto así muestra que el «muro de memoria» ha dejado de ser un tema especializado de artículos académicos y se ha convertido en un incentivo comercial para lanzar una nueva startup de hardware. Si Majestic Labs lleva Prometheus a la producción en serie, los operadores de centros de datos y los proveedores de nube tendrán, por primera vez en mucho tiempo, una alternativa real al paquete estándar «GPU más HBM», y la competencia en infraestructura de IA dejará de reducirse únicamente a comparar la cantidad y la generación de aceleradores gráficos.