Project Genie de Google DeepMind : créer des mondes entiers à coups de prompts textuels

Imaginez que, pour créer un niveau de jeu vidéo ou un monde virtuel, il ne faille plus une équipe de designers, de programmeurs et d'artistes. Quelques phrases suffisent, et le système génère un espace interactif dans lequel on peut se déplacer et avec lequel on peut interagir. C'est ce que promet Project Genie, de Google DeepMind, et l'entreprise partage désormais des recommandations pratiques pour utiliser l'outil.

Project Genie n'est pas tout à fait nouveau. Les premières mentions remontent à 2024, lorsque Google DeepMind avait présenté un modèle de recherche capable de générer de simples jeux de plateformes en 2D à partir d'une image ou d'une description textuelle. Depuis, le système a énormément progressé. La version actuelle permet de créer des espaces virtuels bien plus complexes et détaillés, et la qualité du résultat dépend directement de la justesse avec laquelle l'utilisateur formule sa demande. C'est pourquoi Google a décidé de publier une sorte de guide de prompt engineering adapté spécifiquement à la génération de mondes.

Les quatre principes avancés par Google DeepMind peuvent sembler évidents au premier abord, mais chacun repose sur une compréhension fine de la manière dont les modèles génératifs interprètent les requêtes. Le premier, et sans doute le plus important, est la précision. Le modèle fonctionne bien mieux lorsque, au lieu d'une « belle forêt » abstraite, on décrit « une forêt dense de conifères avec une brume matinale entre les troncs des pins et une mousse douce sur les rochers ».

Le deuxième principe concerne la structure spatiale : Genie comprend mieux les prompts qui précisent explicitement les relations entre les objets, c'est-à-dire ce qui est au premier plan, ce qui est à l'arrière-plan et quels éléments dominent la scène. Le troisième est l'itération : le système permet d'affiner le résultat étape par étape, et les meilleurs mondes naissent non de la première requête, mais d'une série de retouches. Enfin, le quatrième principe porte sur l'interactivité : il est recommandé d'indiquer explicitement quels éléments du monde doivent être dynamiques et lesquels statiques.

Sur le plan technique, Project Genie est l'étape suivante après les modèles génératifs d'images et de vidéo. Si Imagen et Veo ont appris à produire des contenus statiques et dynamiques visuellement convaincants, Genie ajoute une couche d'interactivité : on peut non seulement regarder le monde généré, mais aussi agir à l'intérieur. La tâche est nettement plus ardue, car le modèle doit non seulement créer un espace visuellement cohérent, mais aussi anticiper la physique des objets, la logique des interactions et la cohérence du monde lorsque le point de vue change.

En somme, Google DeepMind pose les bases de ce que l'industrie appelle la « génération procédurale de nouvelle génération », sauf qu'à la place de règles algorithmiques, c'est une compréhension neuronale de l'organisation des espaces qui opère.

Les conséquences de cette technologie pour l'industrie sont difficiles à surestimer. Le game design est le premier domaine d'application, et le plus évident. Les développeurs indépendants, qui n'ont pas les moyens de bâtir de vastes mondes de jeu, obtiennent un outil capable d'accélérer radicalement le prototypage. Mais le potentiel de Project Genie dépasse largement le jeu. Les architectes pourraient utiliser de tels systèmes pour visualiser rapidement des concepts spatiaux. Les plateformes éducatives, pour créer des reconstitutions historiques interactives ou des simulations scientifiques. Les métavers, dont on parlait tant il y a quelques années, prennent soudain un sens pratique si remplir les espaces virtuels de contenu cesse d'être le goulot d'étranglement.

Le contexte concurrentiel compte aussi. Google n'est pas la seule entreprise à travailler sur la génération d'environnements interactifs. Des recherches similaires sont menées chez Meta* et dans plusieurs start-up, comme World Labs de Fei-Fei Li. Google dispose toutefois d'un avantage notable : l'intégration de son écosystème. Project Genie pourrait potentiellement être relié à Google Maps pour générer des espaces urbains réalistes, à YouTube pour apprendre à partir de milliards d'heures de vidéo, et à Android pour la distribution mobile. C'est un cas où la supériorité en matière d'infrastructure peut s'avérer décisive.

Reste que la publication d'un guide pratique plutôt que d'un rapport technique complet soulève des questions. Google veut manifestement attirer vers Project Genie un large public de créateurs de contenu, mais n'a pour l'instant divulgué aucun détail sur la disponibilité de l'outil, ses limites ni ses projets de commercialisation. Le simple fait que l'entreprise apprenne aux utilisateurs à écrire des prompts pour générer des mondes indique que la technologie approche du stade de produit public.

La seule question est de savoir si Project Genie deviendra un service autonome, une partie de Google Cloud ou un composant d'une plateforme plus large. Quoi qu'il en soit, la frontière entre « décrire un monde » et « construire un monde » s'amincit, et c'est l'une des tendances les plus intrigantes du développement de l'intelligence artificielle générative.

*Meta est reconnue comme organisation extrémiste et interdite en Fédération de Russie.