Nvidia explained the principle behind DLSS 5: the system only needs a 2D frame and motion vectors

Nvidia немного приоткрыла чёрный ящик вокруг DLSS 5. По словам Джейкоба Фридмана, система не получает полноценную 3D-сцену: на вход ей подают обычный 2D-кадр, уже отрисованный игрой, и векторы движения объектов.

Что получает DLSS

Это важное уточнение для всех споров о том, как именно AI-апскейлинг «рисует» недостающие пиксели. Многие представляют DLSS как модель, которая видит весь мир игры почти на уровне движка. На практике схема куда компактнее.

Игра сначала рендерит кадр в более низком разрешении, затем передаёт его в DLSS вместе с картой движения, где указано, как смещаются объекты и отдельные участки изображения от кадра к кадру. Уже на этой базе нейросеть восстанавливает более детальную картинку. Такой подход объясняет, почему технология может заметно повышать чёткость без полного пересчёта сцены в нативном разрешении.

Модели не нужно заново строить геометрию мира или получать все внутренние данные движка. Она работает как система реконструкции: ищет закономерности, сопоставляет текущий кадр с движением элементов и предсказывает, как должен выглядеть итоговый результат на более высоком разрешении. Именно поэтому DLSS остаётся тесно связанным не только с самой нейросетью, но и с тем, насколько аккуратно игра готовит исходные данные.

«На вход DLSS 5 получает 2D-кадр и векторы движения».

Зачем нужны векторы Векторы движения — ключевая часть этой схемы.

Они подсказывают, куда и с какой скоростью перемещаются объекты между соседними кадрами. Без них AI пришлось бы почти вслепую угадывать, где у персонажа должна оказаться рука, куда сместилась тень или как продолжить тонкую линию на быстро движущемся объекте. Чем точнее эти данные, тем стабильнее выглядит изображение в динамике, когда игрок поворачивает камеру, едет на высокой скорости или участвует в перестрелке с множеством эффектов на экране.

Практически это даёт несколько заметных преимуществ: выше чёткость мелких деталей без полного рендера в нативном разрешении меньше мерцания на тонких линиях, проводах, траве и дальних объектах более стабильная картинка в движении, а не только на статичном скриншоте выигрыш по производительности, потому что игре не нужно считать каждый пиксель в максимальном качестве Из этого же следует и обратная зависимость: если игра плохо формирует векторы движения, итоговый результат тоже пострадает. Поэтому качество DLSS определяется не одной «магической» моделью Nvidia, а связкой из алгоритма, движка и конкретной реализации в отдельной игре.

Где пределы метода Разъяснение Nvidia полезно ещё и тем, что оно ставит границы ожиданий.

DLSS 5 не «знает» сцену так, как её знает сам игровой движок. Он не получает готовую трёхмерную модель мира в полном объёме, а значит в любой сложной ситуации опирается на неполную, пусть и очень полезную информацию. Отсюда и типичные артефакты, знакомые пользователям технологий реконструкции: смазывание мелких элементов, шлейфы на контрастных границах или нестабильность в кадрах с очень сложным движением, прозрачностью и большим количеством мелких эффектов.

При этом важно не путать реконструкцию с случайной дорисовкой. Смысл DLSS как раз в том, что система опирается на реальные данные из игры, а не просто «фантазирует» поверх картинки. Но объяснение Фридмана показывает: даже самый сильный AI здесь остаётся зависимым от качества исходного кадра и служебной телеметрии.

Иными словами, DLSS 5 — это не кнопка «сделать красиво из ничего», а продвинутый компромисс между производительностью и визуальным качеством.

Что это значит

Для игроков и разработчиков это полезный сигнал: главная сила DLSS 5 не в доступе к некой скрытой 3D-магии, а в умении максимально эффективно восстановить изображение из ограниченного набора данных. Чем лучше игра готовит кадр и векторы движения, тем убедительнее будет результат. А значит гонка за качеством AI-графики всё сильнее зависит не только от модели Nvidia, но и от дисциплины самих студий при интеграции технологии.