Skywork ускорила нейрорендер Matrix-Game 4.0 до 67 FPS на RTX 5080

У вас есть игровой прототип: персонаж бегает, машина поворачивает, столкновения работают. Но картинка пока состоит из простых моделей. Matrix-Game 4.0 предлагает пропустить её через видеонейросеть, которая дорисует детали, пока игровой движок продолжает считать происходящее. Для разработчика это повод проверить, насколько генеративная графика пригодна для интерактивного прототипа.

Skywork опубликовала код, веса и игровые ресурсы. По данным команды, нейрорендер достигает 67 FPS на RTX 5080 при разрешении 864×480. Важная оговорка: это установившаяся скорость модели с фиксированными промптами и SageAttention, без учёта видеоввода и вывода. Релиз также состоялся раньше сегодняшнего поста: в репозитории он датирован 15 октября, оптимизации для 5080 — 16 октября. Источник: репозиторий проекта.

Кто отвечает за стену, а кто — за её фактуру

Представьте гонку по городу. Движок хранит положение машины, рассчитывает поворот и определяет момент столкновения с ограждением. Затем рисует упрощённую сцену. Видеомодель получает эти кадры и превращает их в более подробное изображение.

Такое распределение обязанностей позволяет держать правила игры в исполняемом коде. На странице проекта авторы также описывают агента, который переводит пожелания игрока в новые правила и текстовые описания сцены. Генератор использует простую графику, описание и опорные кадры, выдавая изображение порциями по четыре кадра. Источник: описание архитектуры.

Для понимания подхода полезен простой вопрос: кто решает, можно ли проехать сквозь стену? Здесь ответ даёт движок. Однако из этого не следует, что нарисованная стена всегда точно совпадёт с препятствием. Логика может оставаться корректной даже при визуальной ошибке. Именно такое расхождение стоит искать в первом тесте прототипа.

Что скрывается за 67 FPS

В техническом отчёте команда разделяет пропускную способность и задержку управления. Для RTX 5090 указаны 60 FPS игрового процесса при 480p и 112 мс от нажатия клавиши до отображения реакции. Отдельно приведена скорость одноступенчатой генерации — 83 FPS. Это разные измерения; переносить задержку с 5090 на 5080 нельзя. Источник: технический отчёт.

Практический смысл этой разницы легко представить. Машина может двигаться на экране плавно, но поворачивать с ощутимой паузой после команды. Поэтому число кадров само по себе ещё не отвечает на вопрос, удобно ли играть. Для своего сценария придётся отдельно измерить реакцию на ввод и проверить её при резких манёврах.

Есть и компромисс между качеством и скоростью. Карточка модели описывает быстрый режим с одним шагом генерации и кодеком TAEHV, а также режим качества с двумя шагами и Wan VAE. Модели специализированы под поставляемые сцены и камеры. Незнакомая геометрия, перекрытия объектов, быстрые движения камеры и длинные сессии могут приводить к визуальным искажениям. Код и данные обучения не опубликованы. Источник: карточка модели.

С чего начать разработчику

Мой практический вывод: начинать стоит с одной готовой сцены и короткого проверяемого сценария. Например, проехать круг, резко развернуться и вернуться к тому же перекрёстку. Сравнить видимую геометрию с упрощённой сценой движка, записать задержку управления и посмотреть, сохраняется ли внешний вид объектов.

Следующий эксперимент — изменить один объект или участок маршрута. Он покажет, насколько модель переносит изменения за пределы знакомой сцены. Для продуктовой команды это полезнее красивого ролика: появится понимание, сколько свободы можно дать пользователю и какие ошибки потребуется скрывать или исправлять.

Потенциальная ценность здесь — в проверяемой связке игрового кода и генеративной картинки. Но экономия на создании графики пока остаётся гипотезой для конкретного проекта: её нужно сопоставить с затратами на запуск, адаптацию сцен и контроль визуальных ошибок.