InfiniDream: síntesis de 100 objetos y 20 escenas en generación procedural de mundos 3D

InfiniDream es un framework guiado por VLM (modelos de visión y lenguaje) para la generación procedural abierta de mundos 3D fotorrealistas. Desarrollado por investigadores de Alaya Lab (Yi-Chuan Huang, Hao-Jen Chien, Zheng-Hui Huang, Yu-Lun Liu, Kaipeng Zhang, Zhixiang Wang), el método resuelve un problema crítico en la generación de datos sintéticos y el desarrollo de videojuegos: los métodos VLM existentes suelen crear assets 3D simples, mientras que los sistemas procedurales fotorrealistas complejos requieren meses de desarrollo manual. Históricamente, la generación procedural se ha preferido frente a los modelos 3D estáticos por su mayor controlabilidad, editabilidad y diversificación, pero automatizarla con IA ha resultado difícil: los métodos VLM existentes siguen atados a APIs predefinidas y fábricas de código, lo que limita la creación de tipos de assets fundamentalmente nuevos.

Dos componentes clave de la metodología

El framework InfiniDream se apoya en dos innovaciones principales:

Symbolically Constrained Asset Generation replantea radicalmente el problema. En lugar de crear modelos 3D desde cero o trabajar dentro de los límites de APIs rígidas predefinidas, el sistema utiliza algoritmos procedurales existentes como restricciones estructurales y dirige su funcionamiento mediante un VLM. Esto permite generar assets fundamentalmente nuevos, nunca vistos antes, manteniendo al mismo tiempo el fotorrealismo del resultado, la editabilidad de cada elemento y la seed-based diversity, es decir, la capacidad de reproducir variantes y variar los resultados a partir de semillas aleatorias.

Text-to-World Pipeline es un flujo de extremo a extremo que convierte una descripción textual en un mundo 3D terminado. Integra varias etapas clave: semantic scene planning (planificación semántica del contenido de la escena a partir del texto de entrada), Deterministic Frustum-Guided Grid Placement (ubicación determinista de objetos en el espacio 3D usando el frustum de visión de la cámara para un control preciso), procedural population (poblamiento automático de la escena con múltiples objetos) y animation (incorporación de dinamismo y animación a los elementos de la escena). Este pipeline permite construir mundos 3D a gran escala y con un alto nivel de detalle, con un control preciso sobre la ubicación de cada objeto.

Resultados de las pruebas y evaluación

Los autores realizaron una evaluación exhaustiva del método en dos tipos de tareas principales:

• 100 objetos para síntesis — generación de diversos assets 3D individuales • 20 escenas completas — creación de entornos 3D integrados con múltiples objetos

En las cuatro métricas perceptuales utilizadas, el método InfiniDream mostró mejoras. Además, se realizaron un análisis de diversidad de los assets generados (diversity analysis), estudios de ablación (ablation studies) sobre la influencia de cada componente del framework en el resultado final, y una evaluación de preferencia humana (human preference evaluation), que confirmaron la eficacia y la practicidad del enfoque. Los resultados demuestran que los modelos de lenguaje son capaces de guiar la generación procedural y producir, al mismo tiempo, resultados fotorrealistas que antes solo se lograban tras meses de trabajo manual por parte de desarrolladores experimentados.

Recursos y autoría

El proyecto se publicó el 19 de octubre de 2026. El código fuente completo está disponible en el repositorio de GitHub (https://github.com/yichuanH/InfiniDream), donde la comunidad puede reproducir los resultados y aplicar la metodología a sus propios proyectos. Los autores también han preparado una página de proyecto detallada (https://yichuanh.github.io/infinidream-page/) con visualizaciones de los resultados e información adicional sobre el funcionamiento del framework. La investigación se llevó a cabo bajo el amparo de Alaya Lab y representa un paso significativo en la automatización de la generación procedural de contenido 3D mediante inteligencia artificial.