Nvidia explique le fonctionnement du DLSS 5 : une image 2D et des vecteurs de mouvement suffisent

Nvidia a entrouvert un peu la boîte noire du DLSS 5. Selon Jacob Freeman, le système ne reçoit pas de scène 3D complète. En entrée, il reçoit une image 2D ordinaire, déjà rendue par le jeu, ainsi que les vecteurs de mouvement des objets.

Ce que reçoit le DLSS

Cette précision compte dans tous les débats sur la manière exacte dont l'upscaling par IA « dessine » les pixels manquants. Beaucoup imaginent le DLSS comme un modèle qui voit tout l'univers du jeu presque aussi bien que le moteur. En pratique, le schéma est bien plus compact. Le jeu rend d'abord une image dans une résolution inférieure, puis la transmet au DLSS avec une carte de mouvement indiquant comment les objets et certaines zones de l'image se déplacent d'une image à l'autre. C'est sur cette base que le réseau de neurones reconstruit une image plus détaillée.

Cette approche explique pourquoi la technologie peut améliorer nettement la netteté sans recalculer la scène en résolution native. Le modèle n'a pas besoin de reconstruire la géométrie du monde à partir de zéro ni d'accéder à toutes les données internes du moteur. Il fonctionne comme un système de reconstruction : il cherche des régularités, met en rapport l'image actuelle avec le mouvement des éléments et prédit à quoi doit ressembler le résultat final en résolution supérieure. C'est pourquoi le DLSS reste étroitement lié non seulement au réseau de neurones lui-même, mais aussi au soin avec lequel le jeu prépare ses données d'entrée.

«

En entrée, le DLSS 5 reçoit une image 2D et des vecteurs de mouvement. »

À quoi servent les vecteurs

Les vecteurs de mouvement sont l'élément clé de ce schéma. Ils indiquent dans quelle direction et à quelle vitesse les objets se déplacent entre deux images voisines. Sans eux, l'IA devrait deviner presque à l'aveugle où doit se trouver la main d'un personnage, où une ombre s'est déplacée ou comment prolonger une ligne fine sur un objet qui bouge vite. Plus ces données sont précises, plus l'image paraît stable en mouvement, que le joueur tourne la caméra, roule à grande vitesse ou prenne part à une fusillade avec de nombreux effets à l'écran.

En pratique, cela apporte plusieurs avantages notables :

• une meilleure netteté des petits détails sans rendu complet en résolution native
• moins de scintillement sur les lignes fines, les câbles, l'herbe et les objets lointains
• une image plus stable en mouvement, et pas seulement sur une capture d'écran statique
• un gain de performances, car le jeu n'a pas à calculer chaque pixel à la qualité maximale

De là découle aussi la dépendance inverse : si le jeu génère mal les vecteurs de mouvement, le résultat final en pâtit aussi. La qualité du DLSS n'est donc pas déterminée par un seul modèle « magique » de Nvidia, mais par l'association d'un algorithme, d'un moteur et d'une implémentation concrète dans chaque jeu.

Où sont les limites de la méthode

L'explication de Nvidia est utile aussi parce qu'elle fixe des bornes aux attentes. Le DLSS 5 ne « connaît » pas la scène comme la connaît le moteur du jeu. Il ne reçoit pas de modèle tridimensionnel du monde tout fait et complet, et s'appuie donc, dans toute situation complexe, sur une information incomplète, quoique très utile.

D'où les artefacts typiques, familiers des utilisateurs de technologies de reconstruction : flou sur les petits éléments, traînées sur les bords contrastés ou instabilité dans les images au mouvement très complexe, avec transparence et beaucoup de petits effets.

Il ne faut pas pour autant confondre reconstruction et ajout au hasard. Tout l'intérêt du DLSS est justement que le système s'appuie sur des données réelles du jeu, au lieu de simplement « inventer » par-dessus l'image. Mais l'explication de Freeman montre que même l'IA la plus puissante reste ici dépendante de la qualité de l'image source et de la télémétrie auxiliaire. Autrement dit, le DLSS 5 n'est pas un bouton « faire du beau à partir de rien », mais un compromis avancé entre performances et qualité visuelle.

Ce que cela signifie

Pour les joueurs comme pour les développeurs, c'est un signal utile : la principale force du DLSS 5 ne tient pas à l'accès à une quelconque magie 3D cachée, mais à sa capacité à restituer l'image le plus efficacement possible à partir d'un ensemble limité de données. Mieux le jeu prépare l'image et les vecteurs de mouvement, plus le résultat sera convaincant. La course à la qualité des graphismes par IA dépend donc de plus en plus non seulement du modèle de Nvidia, mais aussi de la rigueur des studios lors de l'intégration de la technologie.