Meta раскрыла Prometheus: кластер на гигаватт учит модели с 85% полезного времени
Meta показала изнутри Prometheus — гигаваттный кластер в Огайо, где обучали модели Muse. Если в обучении на тысячах GPU ломается одна карта, встаёт вся задача, как конвейер из-за одного станка. Поэтому Meta меряет goodput — долю времени, когда кластер реально учит модель: у Muse Wonder это свыше 85% на предобучении и свыше 90% на RL. Вывод: на таком масштабе важнее запас GPU и борьба со сбоями, чем просто их число.
AI-обработка оригинала Meta Engineering; редакция Hamidun News
Когда говорят о гонке ИИ-лабораторий, обычно считают GPU и мегаватты. Но у больших обучающих задач есть неприятная особенность: они работают как конвейер, где остановка одного станка тормозит всю линию. Если на одном из тысяч серверов что-то сломалось, страдает вся задача. Meta Engineering опубликовала разбор Prometheus — суперкластера мощностью около гигаватта в Нью-Олбани, штат Огайо, на котором обучали новое семейство моделей Muse. Главная метрика здесь — goodput, то есть доля времени, когда кластер действительно обучает модель, а не простаивает или восстанавливается после сбоя. Для предобучения Muse Wonder она превысила 85%, для обучения с подкреплением (RL) — 90%.
Что за машина и из чего она собрана
Два года назад площадка в Нью-Олбани была обычным дата-центром для веб-трафика. Её переделали под обучение передовых моделей. Сейчас Prometheus — это сотни тысяч GPU в нескольких связанных зданиях, включая обычные, специально оптимизированные под ИИ и быстровозводимые конструкции. Всё соединено километрами оптоволокна и работает как одна машина. Первая очередь уже готова, а в полном объёме кластер должен вырасти примерно до 1 миллиона GPU. Для охлаждения используется замкнутый жидкостный контур.
Сейчас в кластере стоят две платформы Nvidia, третья на подходе. Первая, Catalina, построена на GB200 NVL72: 72 GPU объединены через NVLink в единый домен, 13,4 ТБ памяти HBM3e (по 192 ГБ на GPU), 720 петафлопс в FP8 и около 120 кВт на систему. Meta выбрала вариант Ariel с двумя сетевыми картами по 400G на каждый GPU, то есть 800G на видеокарту. Компания считает, что GB200 вырос по всем параметрам относительно H100, кроме сети, и этот перекос стоил бы производительности.
Вторая платформа, Clemente, использует GB300 NVL72: 288 ГБ памяти на GPU (на 50% больше), свыше экзафлопса в FP4, а все 72 GPU помещаются в одну стойку. Сеть 800G на GPU здесь идёт «из коробки», кабелей меньше, обслуживать проще. Охлаждение — воздушно-жидкостное модульное или фабричное жидкостное, если здание новое.
Сеть: GPU должны разговаривать, а не ждать
Обычный дата-центр гоняет запросы и ответы между сервисами, которым не нужна жёсткая синхронность. Для обучения нужна именно она, поэтому Meta несколько лет назад добавила вторую, выделенную Ethernet-сеть для прямой связи GPU друг с другом. Внутри здания каждая такая фабрика соединяет до 20 736 GPU. Сначала использовали Disaggregated Scheduled Fabric, которая разводит крупные долгоживущие потоки данных, чтобы они не сталкивались. Когда сетевые карты научились переупорядочивать пакеты сами, перешли на Non-Scheduled Fabric с коммутаторами 51,2T.
Между зданиями работает агрегирующая сеть на шасси Arista 7800 с чипами Broadcom Jericho3, длина линий — от 2 до более 100 км. На таких расстояниях мешает скорость света, поэтому Meta вместе с Superintelligence Labs подбирала схему параллелизма так, чтобы трафик, чувствительный к задержкам, оставался внутри одной копии модели. Между копиями идёт то, что переносит задержку легче. В сумме сеть — это десятки тысяч коммутаторов и миллионы оптических модулей.
Надёжность: запасные GPU и разбор каждой остановки
Переход с NVL8 на NVL72 увеличил «радиус поражения» одной поломки в девять раз: вместо восьми GPU в связанном домене теперь 72. Поэтому стойка стала основной единицей планирования. Обучение удобнее делить на группы по степеням двойки, так что в каждой стойке работают 64 GPU, а оставшиеся восемь — горячий резерв. Если карта вышла из строя, её место занимает запасная, задача перезапускается с последнего чекпоинта и не ждёт ремонта.
Для редких поломок целой стойки Meta держит ещё примерно 2% стоек в запасе. Для прогона на 32 768 активных GPU нужно 523 стойки NVL72, то есть 37 656 GPU — около 13% сверх активной мощности. Из этих 13% почти всё (11%) — просто геометрия «64 из 72», а не налог на надёжность.
Сложность растёт и физически: в одном домене NVL72 — 5 184 линии связи по 200 Гбит/с, и каждая может отказать на нескольких участках — в SerDes GPU, плате вычислительного лотка, кабельных картриджах или интерфейсах коммутатора.
Отдельно Meta описывает модель работы с Nvidia. Инженеры вендора сидят прямо в дата-центрах, обмениваются телеметрией и вместе разбирают каждую остановку до первопричины. Meta отвечает за планирование и инфраструктуру, Nvidia — за прошивки, диагностику сигналов и работу с памятью. Такая прозрачность сокращает споры о том, чья это вина, и ускоряет исправления.
Результат: среднее время между остановками (MTBI) в прогонах Muse Wonder составило около 47 тыс. GPU-часов, а после прошивок на всём парке выросло до более чем 54 тыс.
Что из этого следует
Для тех, кто строит собственную ИИ-инфраструктуру, урок простой: размер кластера — это только половина дела. Резерв в каждой стойке, быстрые перезапуски с чекпоинта и разбор остановок по причинам удерживают goodput выше 85–90%. Есть и оговорка: все цифры публикует сама Meta, независимой проверки нет. Но сама логика применима и к кластерам поменьше: считайте, какая доля оплаченных GPU-часов уходит на реальное обучение, и лечите причины простоев.
- 21 нояб. 2026 г.Meta готовит ИИ-тамагочи Muse Charm за $300 с годом 5G от Verizon
- 21 нояб. 2026 г.MLCommons начал мерить ИИ-API под реальной нагрузкой: 7 замеров для агентов
- 21 нояб. 2026 г.Unsloth обновила сжатые Qwen3.8-27B: точность выросла на 5–10% при том же размере
- 21 нояб. 2026 г.Apple строит ИИ-агента для Mac и усложнила доступ чужим: 14 кликов вместо 4
Вопросы и ответы по материалу
Что известно по теме: что за машина и из чего она собрана?
Два года назад площадка в Нью-Олбани была обычным дата-центром для веб-трафика. Её переделали под обучение передовых моделей. Сейчас Prometheus — это сотни тысяч GPU в нескольких связанных зданиях, включая обычные, специально оптимизированные под ИИ и быстровозводимые конструкции. Всё соединено километрами оптоволокна и работает как одна машина. Первая очередь уже готова, а в полном объёме кластер должен вырасти примерно до 1 миллиона GPU. Для охлаждения используется замкнутый жидкостный контур.
Что известно по теме: сеть: GPU должны разговаривать, а не ждать?
Обычный дата-центр гоняет запросы и ответы между сервисами, которым не нужна жёсткая синхронность. Для обучения нужна именно она, поэтому Meta несколько лет назад добавила вторую, выделенную Ethernet-сеть для прямой связи GPU друг с другом. Внутри здания каждая такая фабрика соединяет до 20 736 GPU. Сначала использовали Disaggregated Scheduled Fabric, которая разводит крупные долгоживущие потоки данных, чтобы они не сталкивались.
Что известно по теме: надёжность: запасные GPU и разбор каждой остановки?
Переход с NVL8 на NVL72 увеличил «радиус поражения» одной поломки в девять раз: вместо восьми GPU в связанном домене теперь 72. Поэтому стойка стала основной единицей планирования. Обучение удобнее делить на группы по степеням двойки, так что в каждой стойке работают 64 GPU, а оставшиеся восемь — горячий резерв. Если карта вышла из строя, её место занимает запасная, задача перезапускается с последнего чекпоинта и не ждёт ремонта. Для редких поломок целой стойки Meta держит ещё примерно 2% стоек в запасе.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.