Vera Rubin NVL72 обошёл GB300 по токенам на мегаватт до 5,7 раза в AA-AgentPerf

Первые независимые цифры по NVIDIA Vera Rubin NVL72 показывают очень разный отрыв от предшественника в зависимости от режима. Artificial Analysis добавила стойку в бенчмарк AA-AgentPerf. По суммарному throughput на мегаватт мощности GPU Rubin опережает GB300 NVL72 до 5,7x на DeepSeek V4 Pro (при ~190 ток/с на пользователя), до 5,4x на DeepSeek V4.1 Flash (~580 ток/с), в 3,0x на GLM-5.2 (~165 ток/с) и в 2,8x на Kimi K3 (~67 ток/с). Но на пиковой пропускной способности разрыв намного скромнее: 1,14x, 1,45x, 1,35x и 1,26x соответственно.

Почему агентный кодинг тяжело обслуживать

AA-AgentPerf не гоняет фиксированные промпты. Он воспроизводит реальные траектории кодинг-агентов, решавших задачи в публичных репозиториях: 500 траекторий и 18 997 запросов. Запрос несёт до 132K входных токенов, а ответ часто сводится к короткому вызову инструмента. В среднем 97% входа повторяет предыдущий запрос. Одна из длинных траекторий растёт с 10K до 116K токенов за 118 запросов и отправляет модели 9,7M входных токенов, из которых новых только 116K.

Поэтому всё упирается в ёмкость и переиспользование KV-кэша, неравномерный префилл (от нескольких токенов до 69K за ход) и время до первого токена. Агент между запросами выдерживает паузу до 5 секунд на вызов инструмента, и кэш должен пережить её.

Что изменилось в железе

Стойка сохранила дизайн GB300: 72 GPU и 36 CPU в одном домене NVLink. Объём памяти на GPU прежний, 288 ГБ, но теперь это HBM4.

• Пропускная способность памяти: 19,2 ТБ/с против 8 ТБ/с у Blackwell Ultra (2,4x).
• NVLink 6: 3,0 ТБ/с против 1,8 ТБ/с.
• Плотные вычисления NVFP4: 35 PFLOPS против 15 PFLOPS (2,3x).
• CPU: Vera с 88 ядрами против 72 у Grace, канал NVLink-C2C до GPU 1,8 ТБ/с против 0,9 ТБ/с. По нему идёт KV-кэш, выгруженный в память CPU.
• Измеренная мощность GPU под нагрузкой: 0,5–1,9 кВт против 0,3–1,0 кВт.

На пике Rubin выдаёт 272M токенов/с на МВт на DeepSeek V4 Pro (у GB300 239M), 571M на DeepSeek V4.1 Flash (395M), 272M на GLM-5.2 (201M) и 70M на Kimi K3 (56M). Цифра в 571M — рекорд всего лидерборда. В пересчёте на один GPU преимущество шире: 2,0–2,5x на пике и до ~18x на DeepSeek V4.1 Flash при ~580 ток/с.

Отрыв растёт там, где GB300 «сыпется». На DeepSeek V4 Pro переход со ~120 до ~165 ток/с на пользователя стоит GB300 81% throughput на МВт, а Rubin лишь 16%. Rubin также ставит рекорды скорости: 906 ток/с на DeepSeek V4.1 Flash (быстрее любого результата для любой модели), 408 ток/с на GLM-5.2 и 255 ток/с на Kimi K3.

Где картина менее однозначна

У результатов есть оговорки, и Artificial Analysis их приводит. Медианное время до первого токена у Rubin на DeepSeek V4 Pro при ~165 ток/с составляет 1,65 с против 1,08 с у GB300. Если мерить end-to-end скорость, которая включает это ожидание, GB300 на большинстве режимов сравнивается с Rubin или обходит его по throughput на МВт.

Стойки GB300 от NVIDIA на DeepSeek V4 Pro доходят лишь до ~163 ток/с на пользователя. Дальше линия GB300 строится по маленьким 4-GPU конфигурациям, собранным самой Artificial Analysis. Выше ~255 ток/с эти конфиги выдают больше токенов на МВт, чем Rubin.

На DeepSeek V4.1 Flash NVIDIA ограничила ответы 2 048 токенами, тогда как у других результатов лимит 16 384. До лимита дошло около 2% ответов, средняя длина ответа примерно на десятую часть короче. Это слегка играет на пользу Rubin. Кроме того, измеряется мощность только самих GPU с HBM, без CPU, сетей и охлаждения.

Что проверить перед закупкой

Выигрыш Rubin сильнее всего там, где продукт зависит от высокой скорости на пользователя: быстрые агенты с короткими ответами и длинным кэшированным контекстом. Если вы упираетесь в лимит мощности дата-центра, а не в число ускорителей, ориентир такой: при ~165 ток/с на пользователя тот же бюджет мощности даёт примерно в 5 раз больше токенов DeepSeek V4 Pro, чем на GB300.

Перед решением сравните свою целевую метрику, end-to-end скорость или скорость после первого токена. Проверьте и чувствительность к задержке старта: для интерактивных сценариев 0,5 секунды разницы заметны. Артефакт у каждой точки лидерборда есть: конфигурация сервинга в браузере конфигов. С неё можно начать тюнинг, не проводя собственное исследование производительности.