MLPerf Training: кластеры на 10 240 GPU и ускорение обучения на 49% за полгода
MLCommons опубликовала MLPerf Training v6.1 — экзамен для кластеров: все обучают одну модель до одинакового качества, и меряется время. Крупнейшие запуски выросли с 8 192 до 10 240 GPU, а на четырёх неизменных тестах время обучения за полгода в среднем сократилось в 1,49 раза: было 100 минут, стало около 67. Часть прироста даёт софт, поэтому при выборе кластера сверяйтесь со свежими результатами, а не с паспортом железа.
AI-обработка оригинала MLCommons; редакция Hamidun News
Представьте, что вы выбираете, где обучать модель: арендовать GPU в облаке или собрать свой кластер. Паспортные цифры вендоров мало что говорят, а вот MLPerf Training — это общий экзамен: все участники решают одну и ту же задачу на одних и тех же данных до одинакового целевого качества, а меряется время до результата. В свежем раунде v6.
1 от MLCommons самые крупные запуски выросли до 10 240 GPU (раньше потолок был 8 192), а на четырёх тестах, которые не менялись с прошлого раунда, лучшее время в среднем сократилось в 1,49 раза, то есть примерно на 49% скорости. Условно: обучение, которое полгода назад занимало 100 минут, теперь укладывается в 67. Для вас это ориентир, сколько реального ускорения можно ждать от смены железа и программных настроек.
Что изменилось в раунде
Поступило 250 заявок от 25 участников; в v6.0 было 229 от 24. Самые большие задачи — это 10 240 GPU: NVIDIA на GB300 и Azure на GB200 обучали DeepSeek-V3. Google запустила ту же модель на 8 192 чипах TPU7x (Ironwood) в одном срезе со скоростной внутренней сетью ICI. Ironwood и NVIDIA Rubin дебютировали в категории Available, то есть системы уже доступны клиентам. Всего в раунде 12 ускорителей от трёх вендоров и четыре технологии сетей между узлами.
Типичная система стала крупнее. Медианное число ускорителей в результате Closed держалось на 8 с v4.0 по v6.0, а теперь равно 32. Результатов на 64 и более ускорителях стало 111 вместо 73. Многоузловые системы дают 76% результатов Closed (117 из 153) против 61% в v6.0. Около 28% заявок получено в облаке, так что виртуализированная инфраструктура держится наравне с остальными. Университет Флориды запустил тест на половине B200 SuperPOD, пока вторая половина обслуживала исследователей.
В набор добавили два теста. Первый — агентное обучение с подкреплением: модель на 397 млрд параметров (Qwen3.5-397B) учат чинить реальные программные проекты; его запустили семь участников, 29 заявок. Второй — генеративный рекомендатель DLRMv4 (HSTU), он заменил старый DLRM-DCNv2: восемь участников, 20 заявок. Большую плотную модель для предобучения убрали после трёх раундов: индустрия ушла к архитектуре mixture-of-experts, где на каждый токен работает лишь часть модели. Эту нишу теперь закрывают DeepSeek-V3 и Qwen3.5-397B.
Откуда 49%, и почему прирост неровный
1,49 — среднее геометрическое прироста лучших результатов на четырёх неизменных тестах. Это не официальный результат MLPerf, а индекс, который MLCommons считает сама. Системы в сравнении одного размера — 512 ускорителей, кроме Llama 3.1 8B, где в v6.0 было 1 024. Выигрыш распределён неравномерно: FLUX.1 за полгода ускорился заметно, а небольшая Llama 3.1 8B почти не изменилась. Часть прироста даёт софт: Firmus и KRAI показали заметный выигрыш относительно базовых реализаций, в том числе за счёт оптимизаций с помощью ИИ.
Почему больше GPU не значит быстрее
Тест меряет время обучения при фиксированной задаче, поэтому большой кластер должен справиться с той же работой раньше. Но синхронизация градиентов между ускорителями не уменьшается с ростом кластера, так что 100 ускорителей не обучат модель в 100 раз быстрее. Размер батча тоже ограничен: Llama 3.1 8B обрабатывает около 64 последовательностей за шаг, и на сотнях ускорителей приходится дробить каждую последовательность, добавляя обмен данными внутри каждого слоя.
У DeepSeek-V3 батч около 16 000 последовательностей, но другая проблема — память. Состояние обучения модели на 671 млрд параметров занимает больше 10 ТБ, а HBM на ускорителе — 186–288 ГБ. Поэтому модель режут по конвейеру и по экспертам, а часть вычислений пересчитывают заново ради экономии памяти. На стойках NVL72 и срезах TPU7x быстрая внутренняя сеть охватывает много узлов, поэтому то, как задача делит трафик между быстрой и медленной сетью, всё сильнее определяет скорость.
Отдельная тема — процессоры. В агентном RL (например, Qwen3.5 GRPO) CPU запускают среды и тесты, превращающие ответы модели в награду. Участники использовали от 500 до примерно 3 150 параллельных песочниц. Мощность хостовых CPU будет важнее по мере роста агентных задач.
Что с этим делать
Выбирая платформу, смотрите не на пиковое число GPU, а на результаты для задачи, похожей на вашу, и на устройство сети. Для небольших моделей сотни лишних ускорителей почти не помогут. Для агентных пайплайнов закладывайте CPU-мощности под песочницы.
Ограничения: результаты присылают сами участники, первые результаты новых тестов отчасти отражают новизну, а энергию в этом раунде измерила только корейская TTA.
- 19 нояб. 2026 г.Amazon и Google получат 28,4% Anthropic после IPO, но без права голоса
- 19 нояб. 2026 г.Цена токена ИИ упала на 21,2% за шесть недель, а траты компаний на API — на 6,3%
- 19 нояб. 2026 г.Gemini API научился подгружать схемы инструментов по запросу, а не в каждом промпте
- 19 нояб. 2026 г.OpenCode получил мобильное приложение: пульт к агенту на вашем компьютере
Вопросы и ответы по материалу
Что известно по теме: что изменилось в раунде?
Поступило 250 заявок от 25 участников; в v6.0 было 229 от 24. Самые большие задачи — это 10 240 GPU: NVIDIA на GB300 и Azure на GB200 обучали DeepSeek-V3. Google запустила ту же модель на 8 192 чипах TPU7x (Ironwood) в одном срезе со скоростной внутренней сетью ICI. Ironwood и NVIDIA Rubin дебютировали в категории Available, то есть системы уже доступны клиентам. Всего в раунде 12 ускорителей от трёх вендоров и четыре технологии сетей между узлами. Типичная система стала крупнее.
Что известно по теме: откуда 49%, и почему прирост неровный?
1,49 — среднее геометрическое прироста лучших результатов на четырёх неизменных тестах. Это не официальный результат MLPerf, а индекс, который MLCommons считает сама. Системы в сравнении одного размера — 512 ускорителей, кроме Llama 3.1 8B, где в v6.0 было 1 024. Выигрыш распределён неравномерно: FLUX.1 за полгода ускорился заметно, а небольшая Llama 3.1 8B почти не изменилась.
Что известно по теме: почему больше GPU не значит быстрее?
Тест меряет время обучения при фиксированной задаче, поэтому большой кластер должен справиться с той же работой раньше. Но синхронизация градиентов между ускорителями не уменьшается с ростом кластера, так что 100 ускорителей не обучат модель в 100 раз быстрее. Размер батча тоже ограничен: Llama 3.1 8B обрабатывает около 64 последовательностей за шаг, и на сотнях ускорителей приходится дробить каждую последовательность, добавляя обмен данными внутри каждого слоя.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.