Project Genie de Google : tout le monde peut désormais créer son propre Mario 64 (mais très mal)

Cette semaine, Google DeepMind a ouvert à une sélection de testeurs l'accès à Project Genie, un outil expérimental qui transforme une description textuelle en une sorte de monde 3D interactif. L'un d'eux, auteur d'un article pour The Verge, en a profité pour générer ses propres versions de mondes inspirés de Super Mario 64, Metroid Prime et The Legend of Zelda: Breath of the Wild, avec parapente et, brièvement, deux Link à l'écran en même temps.

Qu'est-ce que Project Genie

Genie est un prototype expérimental de Google DeepMind qui se distingue des générateurs vidéo classiques. Un générateur vidéo ordinaire se contente de prédire l'image suivante ; Genie tente de simuler le contrôle du personnage et la réaction du monde aux actions de l'utilisateur. Il ne s'agit donc pas d'un simple flux vidéo, mais d'une scène interactive pilotable.

Le modèle a été entraîné sur une grande quantité d'enregistrements de parties et a « observé » le fonctionnement des règles des mondes virtuels, au lieu d'être directement programmé selon les lois de la physique : si le personnage appuie sur le bouton de saut, le réseau neuronal « sait » que la caméra doit monter et le sol descendre, simplement parce que « c'est ce qui se passe d'habitude » dans les enregistrements qu'il a vus.

À quoi ressemblent les mondes générés

Quand on demande à Genie de créer quelque chose qui ressemble à Super Mario 64 ou Metroid Prime, il dessine des paysages en trois dimensions qui se désagrègent à la moindre tentative d'interaction. Dans l'un des exemples, deux Link couraient simultanément à l'écran, et la physique des sauts évoquait celle des jeux d'horreur indépendants. L'image est criblée d'artefacts, des objets surgissent de nulle part et les commandes paraissent visqueuses, « comme dans de la gelée ».

Ce que cela pourrait signifier pour le jeu vidéo

Les jeux classiques reposent sur un travail manuel : derrière chaque objet d'un monde virtuel se cache le travail d'un modeleur, et derrière la physique d'un saut, des milliers de lignes de code d'un moteur physique. Project Genie emprunte une autre voie : l'apprentissage par l'exemple plutôt que la programmation rigide. Si ce type de modèle progresse au même rythme que les générateurs d'images (des déformations reconnaissables aux images photoréalistes de Midjourney), un tel outil pourrait à terme produire non plus seulement des ébauches bancales, mais des niveaux tout à fait jouables.

Cela pose la question des droits d'auteur sur un style visuel, si un réseau neuronal génère un « non-Mario » en temps réel à partir d'une simple description textuelle, mais aussi celle du rôle des moteurs traditionnels comme Unreal ou Unity : au lieu de régler manuellement l'éclairage et les collisions, le modèle pourrait générer des variantes de niveaux à la volée, jusqu'à du contenu adapté à un joueur précis.

Qu'est-ce que Project Genie ?

Project Genie est un outil expérimental de Google DeepMind qui transforme une description textuelle en une sorte de monde 3D interactif ; une sélection de testeurs y a eu accès cette semaine.

Qu'a généré exactement le testeur avec Genie ?

Ses propres versions de mondes inspirés de Super Mario 64, Metroid Prime et The Legend of Zelda: Breath of the Wild, avec notamment un parapente et, brièvement, deux Link à l'écran en même temps.

En quoi

Genie diffère-t-il des générateurs vidéo classiques ?

Un générateur vidéo classique prédit l'image suivante, tandis que Genie tente de simuler le contrôle et la réaction du monde aux actions de l'utilisateur, en apprenant à partir d'enregistrements de parties et non de lois physiques programmées.