InfiniDream : synthèse de 100 objets et 20 scènes dans la génération procédurale de mondes 3D

InfiniDream est un framework piloté par un modèle de langage (VLM-driven) pour la génération procédurale ouverte de mondes 3D photoréalistes. Développée par des chercheurs d'Alaya Lab (Yi-Chuan Huang, Hao-Jen Chien, Zheng-Hui Huang, Yu-Lun Liu, Kaipeng Zhang, Zhixiang Wang), la méthode résout un problème critique dans la production de données synthétiques et le développement de jeux vidéo : les méthodes VLM existantes se contentent généralement de créer des assets 3D simples, tandis que les systèmes procéduraux photoréalistes complexes demandent des mois de développement manuel. La génération procédurale a toujours été préférée aux modèles 3D statiques pour sa plus grande contrôlabilité, son éditabilité et sa diversification, mais son automatisation par l'IA s'est révélée difficile : les méthodes VLM existantes restent attachées à des API et des usines de code prédéfinies, ce qui limite la possibilité de créer des types d'assets fondamentalement nouveaux.

Deux composants clés de la méthodologie

Le framework InfiniDream repose sur deux approches innovantes principales :

Symbolically Constrained Asset Generation — une méthode de génération symbolique d'assets qui redéfinit radicalement le problème. Plutôt que de créer des modèles 3D à partir de rien ou de travailler dans le cadre d'API rigides imposées, le système utilise des algorithmes procéduraux existants comme contraintes structurelles et guide leur fonctionnement via un VLM. Cela permet de générer des assets fondamentalement nouveaux, jamais rencontrés auparavant, tout en préservant le photoréalisme du résultat, l'éditabilité de chaque élément et la seed-based diversity — la capacité à reproduire des variantes et à faire varier les résultats à partir de graines aléatoires.

Text-to-World Pipeline — un pipeline de bout en bout qui va de la description textuelle au monde 3D complet. Il intègre plusieurs étapes clés : semantic scene planning (planification sémantique du contenu de la scène à partir de l'entrée textuelle), Deterministic Frustum-Guided Grid Placement (placement déterministe des objets dans l'espace 3D à l'aide du frustum de la caméra pour un contrôle précis), procedural population (remplissage automatique de la scène avec de multiples objets) et animation (ajout de dynamique et d'animation aux éléments de la scène). Ce pipeline permet de construire des mondes 3D à grande échelle, détaillés, avec un contrôle précis sur le positionnement de chaque objet.

Résultats des tests et évaluation

Les auteurs ont mené une évaluation approfondie de la méthode sur deux grands types de tâches :

• 100 objets à synthétiser — génération de divers assets 3D individuels • 20 scènes complètes — création d'environnements 3D intégrés comportant de multiples objets

Sur les quatre métriques perceptuelles utilisées, la méthode InfiniDream montre des améliorations. Les auteurs ont également mené une analyse de diversité des assets générés (diversity analysis), des études d'ablation (ablation studies, examinant l'influence de chaque composant du framework sur le résultat final) ainsi qu'une évaluation des préférences humaines (human preference evaluation), qui confirment l'efficacité et le caractère pratique de l'approche. Les résultats démontrent que les modèles de langage sont réellement capables de piloter la génération procédurale, tout en produisant des résultats photoréalistes auparavant accessibles uniquement après des mois de travail manuel de développeurs expérimentés.

Ressources et paternité

Le projet a été publié le 19 octobre 2026. Le code source complet est disponible sur le dépôt GitHub (https://github.com/yichuanH/InfiniDream), où la communauté peut reproduire les résultats et utiliser la méthode pour ses propres besoins. Les auteurs ont également préparé une page de projet détaillée (https://yichuanh.github.io/infinidream-page/) avec des visualisations des résultats et des informations supplémentaires sur le fonctionnement du framework. La recherche a été menée sous l'égide d'Alaya Lab et constitue une avancée significative dans l'automatisation de la génération procédurale de contenu 3D par l'intelligence artificielle.