L3G-World génère des mondes 3D en temps réel à 9,02 images/s sur H100

Les modèles de monde interactifs génèrent de la vidéo en réponse aux actions de l'utilisateur, mais ils peinent dès que la promenade dans la scène s'allonge : quand on revient à un endroit déjà vu, il n'a plus le même aspect. Les auteurs de L3G-World proposent de ne plus stocker la scène dans un historique d'images, mais dans une mémoire compacte de gaussiennes tridimensionnelles, chacune associée à un attribut latent VAE. D'après eux, le système construit un monde spatialement cohérent à partir d'une seule image et d'une trajectoire de caméra, à 9,02 images/s sur une seule H100.

Pourquoi les deux mémoires habituelles passent mal à l'échelle

La première approche repose sur un contexte temporel : pour générer chaque nouveau fragment, le modèle consulte les images passées ou le KV-cache des couches d'auto-attention. Le coût de cette mémoire croît avec la longueur du flux et la résolution, et sur une longue distance, on finit par manquer de mémoire vidéo. Dans leur tableau comparatif, les auteurs relèvent des cas d'OOM pour ces méthodes lors de la génération de 400 images sur H100.

La seconde approche stocke la scène de façon explicite, sous forme de nuage de points ou de gaussiennes. Cette mémoire est ancrée dans l'espace : elle maintient donc mieux la cohérence quand on revient à un endroit déjà visité, et elle offre un contrôle précis de la caméra. Mais elle a ses propres compromis. Les méthodes feed-forward prédisent des primitives pour chaque pixel et reconstruisent vite la scène, mais ces primitives s'accumulent à répétition dans les mêmes zones. La mémoire gonfle, le rendu ralentit, et personne ne corrige les zones de géométrie imprécises. Les méthodes avec optimisation par scène sont plus compactes, mais l'ajustement itératif est trop lent pour le temps réel.

Un second problème se pose. Les mémoires 3D explicites fournissent généralement au générateur un rendu RGB, qu'il faut repasser par l'encodeur VAE. Cette étape suffit à elle seule à empêcher le temps réel.

Comment L3G-Mem décide où ajouter des gaussiennes

Le système comprend deux modules qui alternent de façon autorégressive. L3G-Mem met à jour la mémoire, L3G-Gen génère le fragment vidéo suivant. La mémoire croît surtout avec l'étendue de la scène, et non avec le nombre d'images générées.

La mise à jour procède par fenêtres. D'abord, les gaussiennes actuelles sont rendues depuis les nouvelles caméras, et les pixels de faible opacité ou à forte erreur RGB entrent dans un masque de génération. Pour ces zones, on prend les attributs d'un modèle de fondation géométrique, puis on les regroupe par K-means (selon le schéma ZipSplat) en un petit ensemble de requêtes. Le budget de nouvelles gaussiennes n'est ainsi dépensé que pour ce qui manque encore en mémoire.

Parallèlement, les gaussiennes visibles sont affinées. Leurs tokens de mémoire sont extraits comme tokens d'affinage. Un transformeur unique traite les deux flux : dans chaque bloc, ils consultent d'abord les attributs géométriques, puis passent par une auto-attention propre à chaque flux et par une auto-attention globale commune. Les nouvelles gaussiennes sont ajoutées à la mémoire, tandis que les anciennes sont mises à jour par des corrections résiduelles. La mémoire ne devient donc pas un simple tampon : les erreurs géométriques des étapes précédentes sont corrigées progressivement.

Une branche distincte remonte en 3D les attributs latents du VAE. Grâce à eux, la mémoire est rendue directement dans l'espace latent du générateur, sans nouvel encodage. L'entraînement se fait sur une séquence de fenêtres, avec un arrêt du gradient à travers la mémoire précédente. La fonction de perte combine RGB, LPIPS, profondeur, MSE sur les latents VAE et une pénalité de visibilité.

Le générateur L3G-Gen et les zones d'ombre

L3G-Gen est un DiT vidéo à génération autorégressive. Les latents rendus depuis la mémoire et le masque d'opacité sont concaténés par canaux avec les latents bruités, donc sans tokens supplémentaires. Les latents de référence générés précédemment sont fournis séparément et restent inchangés. L'auto-attention intègre RayRoPE, un encodage positionnel résiduel basé sur les rayons de la caméra, et les latents de référence reçoivent un RoPE temporel décalé. Le modèle enseignant est entraîné avec du rectified flow, puis distillé, pour la vitesse, en un générateur à faible nombre d'étapes.

Les auteurs revendiquent les meilleurs résultats en qualité de génération et en cohérence à longue distance. Ils évoquent aussi moins de primitives 3D, une reconstruction de la mémoire plus rapide et un rendu des attributs VAE plus rapide que la méthode de référence antérieure la plus efficace, métrique par métrique. Les facteurs exacts sont tronqués dans le texte disponible : il faut donc les vérifier dans l'article original. Ces comparaisons sont réalisées par les auteurs eux-mêmes, et aucune vérification indépendante n'existe pour l'instant.

Pour ceux qui suivent les world models, la conclusion pratique est la suivante : 9,02 images/s sur H100, ce n'est pas encore 24–30 FPS, et c'est la vitesse obtenue sur un accélérateur haut de gamme. En revanche, l'architecture montre comment construire une mémoire de scène dont le coût ne croît pas avec la durée de la session. C'est nécessaire pour les simulateurs de jeu, l'entraînement d'agents dans des environnements synthétiques et la génération interactive.