InfiniDream: síntese de 100 objetos e 20 cenas na geração procedural de mundos 3D

O InfiniDream é um framework guiado por VLM (modelo de visão e linguagem) para geração procedural aberta de mundos 3D fotorrealistas. Desenvolvido por pesquisadores do Alaya Lab (Yi-Chuan Huang, Hao-Jen Chien, Zheng-Hui Huang, Yu-Lun Liu, Kaipeng Zhang, Zhixiang Wang), o método resolve um problema crítico na geração de dados sintéticos e no desenvolvimento de jogos: os métodos VLM existentes costumam criar apenas assets 3D simples, enquanto sistemas procedurais fotorrealistas complexos ainda exigem meses de desenvolvimento manual. Historicamente, a geração procedural tem sido preferida em relação a modelos 3D estáticos por oferecer maior controlabilidade, editabilidade e diversificação, mas automatizá-la com IA mostrou-se difícil: os métodos VLM existentes continuam amarrados a APIs predefinidas e fábricas de código, o que limita a criação de tipos de assets fundamentalmente novos.

Dois componentes-chave da metodologia

O framework InfiniDream se apoia em duas inovações principais:

Symbolically Constrained Asset Generation reformula radicalmente o problema. Em vez de criar modelos 3D do zero ou trabalhar dentro dos limites de APIs rígidas predefinidas, o sistema usa algoritmos procedurais existentes como restrições estruturais e direciona seu funcionamento por meio de um VLM. Isso possibilita gerar assets genuinamente novos, nunca vistos antes, mantendo ao mesmo tempo o fotorrealismo do resultado, a editabilidade de cada elemento e a seed-based diversity — a capacidade de reproduzir variantes e variar os resultados a partir de sementes aleatórias.

Text-to-World Pipeline é um fluxo ponta a ponta que transforma uma descrição textual em um mundo 3D finalizado. Ele integra várias etapas-chave: semantic scene planning (planejamento semântico do conteúdo da cena a partir do texto de entrada), Deterministic Frustum-Guided Grid Placement (posicionamento determinístico de objetos no espaço 3D usando o frustum de visão da câmera para controle preciso), procedural population (preenchimento automático da cena com múltiplos objetos) e animation (adição de dinamismo e animação aos elementos da cena). Esse pipeline permite construir mundos 3D de grande escala e altamente detalhados, com controle preciso sobre o posicionamento de cada objeto.

Resultados dos testes e avaliação

Os autores realizaram uma avaliação abrangente do método em dois tipos principais de tarefas:

• 100 objetos para síntese — geração de diversos assets 3D individuais • 20 cenas completas — criação de ambientes 3D integrados com múltiplos objetos

Nas quatro métricas perceptuais utilizadas, o método InfiniDream apresentou melhorias. Além disso, foram realizados uma análise de diversidade dos assets gerados (diversity analysis), estudos de ablação (ablation studies) sobre a influência de cada componente do framework no resultado final e uma avaliação de preferência humana (human preference evaluation), que confirmaram a eficácia e a praticidade da abordagem. Os resultados demonstram que modelos de linguagem são capazes de guiar a geração procedural e, ao mesmo tempo, produzir resultados fotorrealistas que antes só eram alcançados após meses de trabalho manual de desenvolvedores experientes.

Recursos e autoria

O projeto foi publicado em 19 de outubro de 2026. O código-fonte completo está disponível no repositório do GitHub (https://github.com/yichuanH/InfiniDream), onde a comunidade pode reproduzir os resultados e aplicar a metodologia a seus próprios projetos. Os autores também prepararam uma página de projeto detalhada (https://yichuanh.github.io/infinidream-page/) com visualizações dos resultados e informações adicionais sobre o funcionamento do framework. A pesquisa foi conduzida sob o Alaya Lab e representa um passo significativo na automação da geração procedural de conteúdo 3D por meio de inteligência artificial.