Vera Rubin NVL72 выдаёт в 5 раз больше токенов на GPU, чем GB300, на DeepSeek V4.1 Flash

Все привыкли сравнивать ускорители одной цифрой: «в столько-то раз быстрее». Свежие данные Artificial Analysis по Vera Rubin NVL72 хорошо показывают, почему одной цифры мало. NVIDIA подала обновлённые конфигурации Rubin для модели DeepSeek V4.1 Flash, и итог зависит от того, какую скорость вы обещаете каждому пользователю или агенту.

Что именно измерили

Метрика здесь — пропускная способность на один GPU (токенов в секунду) при заданной скорости на одного агента. Это важный нюанс. Можно загрузить карту так, чтобы она выдавала максимум токенов суммарно, но тогда каждый отдельный запрос будет идти медленно. А можно держать высокую скорость на агента, и тогда суммарная отдача на GPU падает. Любая платформа живёт на кривой между этими крайностями, а сравнивать надо точки на одной и той же скорости.

Сравнение идёт с улучшенными результатами GB300, то есть против поколения, которое уже успели оптимизировать программно. Это честнее, чем сравнивать с его стартовыми цифрами.

Цифры

При 260 токенах в секунду на агента Vera Rubin выдаёт в 5,0 раза больше токенов на GPU, чем GB300. При 80 ток/с разрыв сжимается до 1,7x. Для случая с одним агентом результат такой: 1 249 ток/с у Rubin против 848 у GB300, то есть 1,47x.

Картина понятная. Чем выше скорость, которую нужно гарантировать каждому агенту, тем сильнее выигрывает новая архитектура. На низких скоростях преимущество скромнее, на высоких оно кратное. Почему так, в посте не объясняется, и гадать о причинах без деталей конфигураций не стоит. Но практический вывод от этого не меняется.

Почему это важно агентам

Агентные сценарии чувствительны именно к скорости на одну сессию. Агент делает десятки последовательных вызовов: планирует, ходит в инструменты, проверяет результат, переписывает. Если каждый шаг генерируется медленно, задержки складываются, и пользователь ждёт минуты вместо секунд. Поэтому режим «быстро и на каждого» для агентов ближе к реальности, чем режим «максимум токенов в сумме», который удобен для пакетной обработки.

В этом режиме, судя по цифрам, Rubin и раскрывается: 5x на GPU означает, что тот же объём быстрых агентных сессий можно обслужить заметно меньшим парком карт. Для провайдера инференса это прямо влияет на себестоимость токена и на то, какие тарифы с гарантированной скоростью он может позволить.

Ограничения

Стоит помнить несколько вещей. Во-первых, это результаты, поданные самой NVIDIA, и конфигурации подобраны под конкретную модель, DeepSeek V4.1 Flash. На другой модели или с другим размером контекста соотношения могут отличаться. Во-вторых, пост сообщает отношения, а не цену: сколько стоит стойка NVL72 на Rubin и когда она будет доступна в облаках, из данных не следует. В-третьих, 1,47x для одного агента показывает, что для нагрузки с малым параллелизмом апгрейд даёт куда меньший эффект.

Что делать на практике

Если вы строите продукт на агентах и сами арендуете инференс, спрашивайте у провайдера не «сколько токенов в секунду», а «сколько на GPU при моей целевой скорости на агента». Определите, какая скорость вам нужна: 80 ток/с и 260 ток/с дают совсем разную экономику. Если вы планируете закупки или долгие контракты, закладывайте, что выигрыш нового поколения нелинеен и сильнее всего проявляется в быстрых интерактивных сценариях. А если ваша нагрузка — фоновая пакетная обработка, ждать Rubin ради кратного эффекта, скорее всего, не стоит: там разница будет ближе к умеренной.