Génération de scènes 3D : un DiT travaille dans un latent 3D et encode une scène en 1K tokens

Les auteurs de l'article « Any 3D Scene is Worth 1K Tokens » proposent d'abandonner le schéma habituel de génération de scènes 3D via la 2D : au lieu d'une diffusion sur des images multivues ou sur de la vidéo, le modèle travaille dans un espace latent 3D implicite de grande dimension. Le chiffre clé figure dans le titre : une scène peut être décrite par environ un millier de tokens. Le latent est construit à partir des features de trois modèles fondamentaux 2D performants : DINOv2, SigLIP2 et DA3.

Des transformers de diffusion (DiT) sont entraînés par-dessus. L'article est paru dans Hugging Face Daily Papers, et son résumé ne contient aucun tableau de métriques chiffrées. Ce qui suit porte donc sur les qualités annoncées de l'approche, et non sur des pourcentages précis.

Pourquoi la diffusion 2D pose problème

Aujourd'hui, la génération de scènes 3D repose surtout sur deux classes de modèles : la diffusion multivue et la diffusion vidéo. Elles produisent un ensemble d'images, à partir desquelles la scène est ensuite reconstruite d'une manière ou d'une autre. Les auteurs identifient deux problèmes dans cette approche.

Le premier est la redondance. Une même portion de pièce ou de rue apparaît sur des dizaines d'images, et le modèle dépense de la capacité à les répéter. Plus il y a de points de vue, plus il y a de répétitions.

Le second est la cohérence. Lorsque l'espace latent est issu de la 2D, rien ne garantit sa cohérence spatiale. Un mur sur une image peut ne pas correspondre à la même zone sur l'image voisine. Quiconque a vu une vidéo générée à la géométrie « flottante » l'a constaté de ses propres yeux.

Ce que proposent les auteurs à la place

L'idée consiste à partir non des pixels, mais des features. DINOv2 fournit des représentations visuelles riches sur le plan géométrique et sémantique, SigLIP2 apporte le lien avec le langage, et DA3 (vraisemblablement Depth Anything 3) ajoute l'information de profondeur. Ces sources servent à assembler une représentation latente 3D implicite de la scène. Le transformer de diffusion est entraîné à générer directement cette représentation, sans passer par l'étape intermédiaire « dessine plein d'images ».

Les éléments clés de l'approche, tels que décrits dans le résumé :

• espace de génération : un latent 3D implicite de grande dimension, et non le latent 2D de vues individuelles ;
• sources de la représentation : DINOv2, SigLIP2, DA3 ;
• modèle génératif : des transformers de diffusion entraînés directement dans le latent 3D ;
• compacité : de l'ordre de 1K tokens par scène (d'après le titre de l'article) ;
• avantages annoncés : efficacité et cohérence spatiale par rapport aux approches 2D ;
• passage à l'échelle : le gain augmente avec la capacité de la représentation et la taille du modèle.

Les auteurs précisent par ailleurs avoir analysé l'influence du latent 3D lui-même sur la qualité de génération. C'est important : dans ce type de travaux, on ne sait souvent pas ce qui produit le gain, de l'architecture ou du choix de représentation. Ici, les auteurs disent tenter de distinguer les deux.

Pourquoi cela intéresse l'industrie

Mille tokens par scène signifient qu'un monde 3D peut être traité avec les mêmes outils que le texte : transformers, lois d'échelle habituelles, infrastructure d'entraînement familière. Si la thèse de la scalabilité se confirme sur de gros modèles, cela simplifiera la voie vers la génération d'environnements entiers pour les jeux, les simulations et l'entraînement de robots.

Pour l'instant, des questions restent sans réponse dans le résumé. Quelle qualité de textures et de petits détails un latent aussi compact permet-il ? Comment le modèle se comporte-t-il sur de grandes scènes ouvertes ? Quels sont les coûts réels d'entraînement et d'inférence par rapport à la diffusion vidéo ? Sans les chiffres du texte complet de l'article, il est trop tôt pour trancher.

Ce que les praticiens doivent regarder

Si vous travaillez sur la génération d'environnements, les simulateurs pour la robotique ou le contenu 3D, il vaut la peine d'ouvrir la version complète de l'article et de vérifier trois points : sur quels jeux de données la cohérence a été mesurée, quels modèles 2D de référence ont été retenus pour la comparaison, et si le code et les poids sont publiés. La section d'analyse des latents 3D mérite une attention particulière : elle montrera laquelle des trois sources de features (DINOv2, SigLIP2 ou DA3) contribue le plus. Elle sera aussi utile à ceux qui construisent leurs propres représentations de scènes sur des foundation models existants.