Prometheus: сервер Majestic Labs с 128 ТБ памяти для ИИ

Стартап в сфере ИИ-оборудования Majestic Labs разрабатывает новый ИИ-сервер Prometheus с объёмом памяти до 128 терабайт — это более чем в 60 раз больше, чем у флагманского сервера Nvidia DGX B300, одной из самых мощных серийных систем для обработки ИИ-нагрузок на рынке. Как пишет IEEE Spectrum, компания делает ставку на архитектуру, полностью построенную вокруг DRAM-памяти, чтобы решить проблему так называемой «стены памяти» (memory wall) — одного из главных ограничений производительности инференса крупных языковых моделей.

Почему память стала главным узким местом для ИИ

• Продукт — сервер Prometheus от Majestic Labs
• Объём памяти — до 128 терабайт
• Сравнение — более чем в 60 раз больше памяти, чем у Nvidia DGX B300
• Архитектура — унифицированная, полностью на базе DRAM (конкретно LPDDR6), в отличие от связки HBM и DRAM у Nvidia
• Ключевая фигура — Sha Rabii, сооснователь и президент Majestic Labs

Согласно влиятельной научной работе, на которую ссылается IEEE Spectrum, генерация токенов у больших языковых моделей по своей природе ограничена скоростью памяти: то, с какой скоростью модель выдаёт текст, определяется тем, насколько быстро данные — прежде всего веса модели — можно считать из памяти, а не тем, насколько быстро работают вычислительные блоки. Чем крупнее модель, тем острее эта проблема, и в итоге возникает «стена памяти», которая ограничивает производительность инференса вне зависимости от роста вычислительной мощности процессоров — сколько бы ядер и тензорных блоков ни добавляли инженеры, итоговая скорость выдачи текста упирается в пропускную способность и объём доступной памяти.

Чем DRAM-архитектура Prometheus отличается от подхода Nvidia

Соучредитель и президент Majestic Labs Sha Rabii считает, что именно масштаб памяти даёт компании конкурентное преимущество. По его словам, Nvidia «проделала феноменальную работу, создав систему, способную масштабироваться», но по мере роста моделей такой подход становится всё менее экономичным: система «оказывается чрезмерно обеспечена вычислительной мощностью и испытывает голод по памяти». Серверы Nvidia сегодня используют быструю память с высокой пропускной способностью (HBM) — как правило, для хранения весов модели, — и отдельный, обычно больший, но более медленный пул DRAM, который обслуживает остальные задачи LLM и накладные расходы сервера.

Majestic Labs выбрала принципиально иной путь: унифицированную архитектуру, целиком построенную на DRAM, а именно на памяти стандарта LPDDR6, без разделения на быстрый и медленный пулы. По словам Rabii, большинство интерфейсов памяти спроектированы для работы на очень коротких физических расстояниях — порой всего в несколько миллиметров, — и именно это физически ограничивает, сколько памяти вообще можно разместить в системе при сохранении высокой пропускной способности.

Что это может значить для рынка ИИ-инфраструктуры

Если ставка Majestic Labs себя оправдает, компания предложит рынку альтернативный источник вычислительной мощности для нагрузок, у которых сегодня не хватает именно памяти, — работы с длинным контекстом, моделей смешанных экспертов с большим суммарным объёмом параметров при разреженной активации, интенсивного использования KV-кеша при обслуживании множества параллельных запросов. Это бросает вызов распространённому допущению, что гонка в сфере ИИ-инфраструктуры сводится в первую очередь к числу графических процессоров и объёму вычислительной мощности в флопсах: Prometheus смещает часть конкурентного фокуса на объём и архитектуру памяти. Учитывая доминирующее положение Nvidia на рынке ИИ-серверов, ставка стартапа на архитектуру, построенную вокруг памяти, а не вычислений, выделяется на фоне большинства игроков, которые в целом следуют вычислительно-ориентированной дорожной карте, заданной Nvidia на протяжении последних лет.

Сам факт появления подобного проекта показывает, что «стена памяти» перестала быть узкоспециальной темой академических статей и превратилась в коммерческий стимул для запуска нового аппаратного стартапа. Если Majestic Labs доведёт Prometheus до серийного производства, у операторов дата-центров и облачных провайдеров впервые за долгое время появится реальная альтернатива стандартному набору «GPU плюс HBM», а конкуренция в сегменте ИИ-инфраструктуры перестанет сводиться исключительно к сравнению количества и поколения графических ускорителей.