Project Genie de Google: maintenant chacun peut construire son Mario 64 (mais très mal)

Cette semaine, Google DeepMind a donné à des testeurs sélectionnés l'accès à Project Genie, un outil expérimental qui transforme une description textuelle en quelque chose ressemblant à un monde 3D interactif. L'un des testeurs, auteur d'un article sur The Verge, a utilisé cet accès pour générer ses propres versions de mondes inspirés de Super Mario 64, Metroid Prime et The Legend of Zelda : Breath of the Wild — avec des parapentes et, brièvement, deux Link à l'écran en même temps.

Qu'est-ce que Project Genie

Genie est un prototype expérimental de Google DeepMind qui se distingue des générateurs de vidéo habituels. Un générateur de vidéo classique se contente de prédire l'image suivante ; Genie, lui, essaie de simuler le contrôle et la réaction du monde aux actions de l'utilisateur — ce n'est donc pas un simple flux vidéo, mais une scène interactive contrôlable. Le modèle a été entraîné sur une grande quantité d'enregistrements de gameplay et a « observé » comment fonctionnent les règles des mondes virtuels, plutôt que d'être directement programmé selon les lois de la physique : si un personnage appuie sur le bouton de saut, le réseau de neurones « sait » que la caméra doit monter et que le sol doit s'éloigner vers le bas, simplement parce que « c'est généralement ainsi que ça se passe » dans les enregistrements qu'il a vus.

À quoi ressemblent les mondes générés

Lorsqu'on demande à Genie de créer quelque chose qui ressemble à Super Mario 64 ou Metroid Prime, il dessine des paysages tridimensionnels qui se désagrègent dès la première tentative d'interaction. Dans l'un des exemples, deux personnages Link couraient à l'écran en même temps, et la physique des sauts rappelait celle des jeux d'horreur indépendants. L'image est couverte d'artefacts, les objets surgissent de nulle part, et les commandes semblent visqueuses, « comme dans de la gelée ».

Ce que cela pourrait signifier pour le développement de jeux vidéo

Les jeux vidéo classiques reposent sur un travail manuel : derrière chaque objet d'un monde virtuel se trouve le travail d'un modeleur, et derrière la physique des sauts, des milliers de lignes de code du moteur physique. Project Genie emprunte une autre voie — l'apprentissage à partir d'exemples plutôt qu'une programmation rigide. Si le rythme de développement de ce type de modèle suit celui des générateurs d'images (des distorsions reconnaissables aux images photoréalistes de Midjourney), un tel outil pourrait, avec le temps, produire non seulement des ébauches grossières, mais des niveaux entièrement jouables.

Cela soulève des questions sur les droits d'auteur relatifs au style visuel, si un réseau de neurones génère un « non-Mario » à partir d'une simple description textuelle en temps réel, ainsi que sur le rôle des moteurs traditionnels comme Unreal ou Unity : au lieu de régler manuellement l'éclairage et les collisions, le modèle pourrait générer des variations de niveaux à la volée, jusqu'à un contenu qui s'adapte à un joueur en particulier.

Qu'est-ce que Project Genie ?

Project Genie est un outil expérimental de Google DeepMind qui transforme une description textuelle en quelque chose ressemblant à un monde 3D interactif ; cette semaine, des testeurs sélectionnés y ont eu accès.

Qu'a exactement généré le testeur avec Genie ?

Ses propres versions de mondes inspirés de Super Mario 64, Metroid Prime et The Legend of Zelda : Breath of the Wild — dont un parapente et, brièvement, deux personnages Link à l'écran en même temps.

En quoi

Genie diffère-t-il des générateurs de vidéo habituels ?

Un générateur de vidéo classique prédit l'image suivante, tandis que Genie essaie de simuler le contrôle et la réaction du monde aux actions de l'utilisateur, en apprenant à partir d'enregistrements de gameplay plutôt qu'à partir de lois physiques programmées.