Scene-Designer apprend à concevoir et à critiquer des scènes 3D à partir de texte, sur 50 000 exemples

Une intelligence de conception pour les scènes 3D à partir de texte

Créer des scènes 3D complètes, cohérentes et réellement exploitables à partir d'un simple texte exige une compétence particulière, que les chercheurs appellent « intelligence de conception ». Il s'agit de la capacité non seulement à concevoir des scènes, mais aussi à en évaluer la qualité. Les approches existantes s'appuient soit sur des modèles généralistes sans expertise spécialisée en conception, soit sur un entraînement limité à des scénarios statiques.

Une équipe de chercheurs présente Scene-Designer, un framework agentique qui développe ces deux capacités complémentaires simultanément, à partir d'exemples issus des domaines de la conception et de la critique. L'idée centrale : le modèle ne se contente pas de générer des scènes 3D, il développe en parallèle la capacité de les évaluer, créant ainsi un système d'amélioration en boucle fermée.

Deux jeux de données : conception et critique

Pour entraîner le modèle, les chercheurs ont constitué deux jeux de données spécialisés :

Scene-OTA-35K contient 35 000 exemples et vise à entraîner la construction efficace de scènes ainsi que la correction d'erreurs lors de leur élaboration.

Scene-OTC-15K comprend 15 000 exemples destinés à entraîner la critique de la qualité des scènes selon trois critères :

• Validité physique — la cohérence du placement des objets dans l'espace et de leur positionnement mutuel
• Correction fonctionnelle — l'adéquation de la scène à son usage et la bonne interaction entre les objets
• Cohérence de la disposition — l'agencement harmonieux et équilibré de tous les éléments

Scene-GRPO : le critique comme force directrice

Pour optimiser le processus de conception, les auteurs proposent Scene-GRPO, un framework basé sur GRPO (Generative Reward Policy Optimization) et guidé par un critique. Cette approche utilise des évaluations de qualité pour orienter le modèle vers de meilleurs choix de conception, tout en réduisant le nombre d'itérations et de corrections inutiles.

Résultats : 89 % et une supériorité sur GPT-5.2

Les expériences démontrent une double supériorité de Scene-Designer, à la fois dans la qualité des scènes 3D générées et dans la capacité à les critiquer :

Comparaison par paires de scènes — Scene-Critic atteint 89 % de précision pour choisir la meilleure des deux scènes

Classement de quatre scènes — le modèle affiche 76 % de précision pour ordonner quatre variantes par qualité

Supériorité sur GPT-5.2 — les métriques obtenues dépassent celles de ce modèle de référence

Ces résultats montrent que le framework ne se contente pas de bien générer des scènes 3D : il a réellement développé une compétence d'évaluation — cette véritable intelligence de conception nécessaire à un travail de qualité. La combinaison des deux jeux de données spécialisés (35 000 exemples de conception et 15 000 exemples de critique) avec l'approche guidée par critique Scene-GRPO a permis de créer un modèle capable de surpasser les solutions précédentes dans ce domaine.