Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарCoreWeave Blog→ оригинал

CoreWeave замерила Vera Rubin: до 10 раз больше токенов на мегаватт, чем у GB200

CoreWeave первой измерила новую стойку NVIDIA Vera Rubin NVL72 (72 GPU в одном шкафу) против прошлой GB200 NVL72. Считали токены — кусочки текста, из которых модель собирает ответ, — в секунду на мегаватт электричества. На DeepSeek R1 при той же скорости ответа одному пользователю выигрыш — до 10 раз. Агентным сервисам это даёт больше запросов в том же энергобюджете, но цифры пока заявлены самим провайдером.

AI-обработка оригинала CoreWeave Blog; редакция Hamidun News
CoreWeave замерила Vera Rubin: до 10 раз больше токенов на мегаватт, чем у GB200
Источник: CoreWeave Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникCoreWeave Blog ↗
Главный редактор
Ключевой факт #1В стойке 72 GPU Rubin и 36 CPU Vera, связь NVLink 6 — 260 ТБ/с
Ключевой факт #2Обе стойки тестировали с NVFP4, multi-token prediction и Dynamo
Ключевой факт #3Заказчики пока лишь ожидают прирост, измерений у них нет

CoreWeave — облачный провайдер, который сдаёт в аренду GPU под ИИ-нагрузки. Компания опубликовала первые измерения новой стойки NVIDIA Vera Rubin NVL72: это серверный шкаф, где 72 графических процессора Rubin работают как один большой ускоритель. Её сравнили с предыдущим поколением, GB200 NVL72, на рассуждающей модели DeepSeek R1. Метрика — токены на мегаватт. Токен — кусочек слова, из которых модель собирает ответ, а мегаватт — тот самый потолок электричества, который можно подвести к залу с серверами. Проще говоря, измеряли, сколько текста дата-центр выдаёт на единицу энергии. При одинаковой скорости ответа новая стойка показала до 10 раз больше, чем GB200. Для тех, кто строит агентов, это напрямую про цену токена.

Что именно измерили

В начале июня CoreWeave заявила, что первой в индустрии подняла и проверила Vera Rubin NVL72 целиком: питание, охлаждение, сеть и вычисления. Теперь компания показала первые замеры на реальном кремнии. Тестировали DeepSeek R1 — рассуждающую модель, на которой сейчас строят многие агентные сценарии.

Мерили не просто скорость. Пропускную способность в токенах в секунду на мегаватт сопоставляли с интерактивностью — то есть со скоростью, которую ощущает один пользователь или один агент (токенов в секунду на пользователя). Это честнее, чем гнать максимальную загрузку: если ответ приходит медленно, пользователю неважно, сколько всего токенов выдала стойка. При сопоставимой интерактивности Vera Rubin NVL72 показала до 10-кратный выигрыш по токенам в секунду на мегаватт.

Обе платформы тестировали с включёнными современными оптимизациями: крупномасштабным параллелизмом экспертов (модель с mixture-of-experts раскладывают по многим GPU), форматом NVFP4 с пониженной точностью чисел, multi-token prediction (модель предсказывает несколько токенов за шаг) и раздельной обработкой prefill и decode. Работало всё это на NVIDIA TensorRT-LLM и Dynamo. Сравнение идёт «лучшее с лучшим», а не новое железо против неоптимизированного старого.

Почему это важно для агентов

Рассуждающая модель отвечает не за один проход: она планирует, проверяет себя и исправляет, поэтому на запрос генерирует заметно больше токенов, чем обычный чат-бот. Каждый токен проходит через память и по связям между GPU. Поэтому, как отмечает CoreWeave, отзывчивость, а не только сырые FLOPs, решает, будет агент работать мгновенно или тормозить.

Под эту задачу и сделана платформа: 72 GPU Rubin и 36 CPU Vera в одной стойке, объединённые полносвязной сетью NVLink 6 на 260 ТБ/с, а в Transformer Engine встроена нативная поддержка NVFP4. На практике 10-кратный запас по токенам на мегаватт даёт два варианта: обслужить намного больше запросов в тех же рамках по мощности либо обслужить тот же трафик на гораздо меньшем потреблении. И то и другое снижает стоимость токена.

CoreWeave приводит и ожидания клиентов, без названий компаний. Глобальная кибербезопасная компания рассчитывает на 10-кратный выигрыш на ватт в обнаружении угроз. Компания с автономным кодовым агентом ждёт похожего роста числа запросов на GPU при заметно более низкой цене токена. ИИ-поисковик, уже работающий на GB200 NVL72, рассчитывает на аналогичную пропускную способность на GPU. Важно: это именно ожидания, а не измеренные результаты.

Оговорки и что делать

Цифры стоит читать трезво. Это публикация самого облачного провайдера, а не независимый бенчмарк вроде MLPerf. Замер сделан на одной модели, DeepSeek R1, и в формулировке стоит «до 10 раз». Абсолютных значений токенов в секунду и цены за токен в материале нет, поэтому пересчитать их в бюджет нельзя. Кроме того, выигрыш получен при полном наборе оптимизаций: без Dynamo, NVFP4 и разнесения prefill/decode результат, скорее всего, будет скромнее.

CoreWeave напоминает, что с GB200 NVL72 первые цифры за месяцы заметно выросли после настройки планировщика, сети и софта, и ждёт такой же траектории здесь. Компания обещает публиковать обновления.

Для команд, которые строят агентные сервисы, вывод простой. Если ваша главная статья расходов — токены рассуждающих моделей, закладывайте в roadmap следующий класс стоек и заранее проверяйте, что ваш стек умеет NVFP4 и раздельный prefill/decode. А прогнозы по цене токена стоит делать только после независимых тестов на ваших собственных нагрузках.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно измерили?

В начале июня CoreWeave заявила, что первой в индустрии подняла и проверила Vera Rubin NVL72 целиком: питание, охлаждение, сеть и вычисления. Теперь компания показала первые замеры на реальном кремнии. Тестировали DeepSeek R1 — рассуждающую модель, на которой сейчас строят многие агентные сценарии. Мерили не просто скорость.

Что известно по теме: почему это важно для агентов?

Рассуждающая модель отвечает не за один проход: она планирует, проверяет себя и исправляет, поэтому на запрос генерирует заметно больше токенов, чем обычный чат-бот. Каждый токен проходит через память и по связям между GPU. Поэтому, как отмечает CoreWeave, отзывчивость, а не только сырые FLOPs, решает, будет агент работать мгновенно или тормозить.

Что известно по теме: оговорки и что делать?

Цифры стоит читать трезво. Это публикация самого облачного провайдера, а не независимый бенчмарк вроде MLPerf. Замер сделан на одной модели, DeepSeek R1, и в формулировке стоит «до 10 раз». Абсолютных значений токенов в секунду и цены за токен в материале нет, поэтому пересчитать их в бюджет нельзя. Кроме того, выигрыш получен при полном наборе оптимизаций: без Dynamo, NVFP4 и разнесения prefill/decode результат, скорее всего, будет скромнее.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…