vLLM заработал на Vera Rubin NVL72: в 7,8 раза выше пропускная способность на GPU

Проект vLLM, самый популярный открытый движок для инференса больших языковых моделей, объявил о поддержке стоечной системы NVIDIA Vera Rubin NVL72. По данным блога проекта, на нагрузке AgentX пропускная способность в пересчёте на один GPU в 7,8 раза выше, чем у предыдущего поколения, GB200 NVL72. В релиз вошли поддержка моделей с нулевого дня, ядра FlashInfer, настроенные под архитектуру Rubin, и MoE-маршрутизация с учётом локальности.

Цифра громкая, но сначала нужно понять, что именно измерили.

Что заявлено

Сравнение идёт на уровне отдельного GPU, а не целой стойки. Обе платформы относятся к классу NVL72: это 72 ускорителя, объединённые в единый домен NVLink. Поэтому сравнение формально честное: стойка против стойки, ускоритель против ускорителя.

В качестве нагрузки выбран AgentX. Судя по названию и контексту, это сценарий агентного инференса: длинные контексты, много последовательных вызовов модели, активное использование кэша. Подробностей в исходном анонсе нет, и это главный пробел. Конфигурация моделей, точность вычислений (FP8, FP4 или смешанная), размеры батчей и ограничения по задержке напрямую определяют, насколько цифру можно переносить на ваш продакшен.

Ключевые параметры релиза:

• Платформа: NVIDIA Vera Rubin NVL72 против GB200 NVL72.
• Движок: vLLM с поддержкой Rubin с первого дня.
• Ядра: FlashInfer, настроенные под Rubin.
• MoE: распределение экспертов с учётом локальности (locality-aware).
• Метрика: пропускная способность на один GPU.
• Результат: 7,8x на нагрузке AgentX.

Откуда берётся ускорение

Авторы называют три слагаемых. Первое — само железо Rubin. Какая доля прироста приходится на него, а какая на программную часть, в анонсе не разделена, и это важно. Если значительная часть выигрыша достигнута оптимизациями ядер и маршрутизации, часть прироста может со временем появиться и на Blackwell. Тогда реальный разрыв между поколениями окажется меньше 7,8x.

Второе — FlashInfer. Эта библиотека реализует внимание и смежные операции, и именно от качества таких ядер зависит, сколько теоретической мощности чипа превращается в токены. Ядра, написанные под конкретную архитектуру, обычно дают самый ощутимый прирост на новом железе.

Третье — MoE с учётом локальности. В моделях со смесью экспертов токены разлетаются по разным GPU, и межкарточный обмен часто становится узким местом. Если размещать и маршрутизировать экспертов так, чтобы большая часть трафика оставалась внутри ближайших соседей по топологии, нагрузка на межсоединение падает. В агентных сценариях с длинными сессиями такая оптимизация особенно заметна.

Где читать мелкий шрифт

Источник цифры — блог самого vLLM, то есть бенчмарк подготовлен разработчиками движка, а не независимой лабораторией. Нет данных о задержке на токен и о стоимости на миллион токенов, а для эксплуатации именно они определяют экономику. Рост пропускной способности на GPU не обязательно означает пропорциональное снижение цены: стойка нового поколения стоит дороже, потребляет больше энергии и требует более сложного охлаждения.

Тем не менее сам факт day-0 поддержки значим. Раньше новое железо месяцами ждало зрелого софта, и в этот период реальная производительность оказывалась заметно ниже паспортной. Здесь стек готов к появлению стоек.

Что делать командам

Если вы планируете закупку или аренду Rubin, не закладывайте 7,8x в бизнес-план. Запросите у провайдера прогон на вашей модели и вашем профиле запросов, с теми же ограничениями по задержке, что и в продакшене. Сравнивайте стоимость токена, а не токены в секунду на карту.

Если вы работаете на Blackwell, обновите vLLM и FlashInfer и перемерьте базовую линию: часть программных улучшений может быть применима и там. Для MoE-моделей отдельно проверьте, как размещаются эксперты на вашей топологии. Для остальных команд полезный вывод проще: инференс-стек догоняет железо быстрее, чем раньше, и ждать месяцы зрелости после релиза чипов, похоже, больше не нужно.