Google DeepMind dévoile Genie 4 : un monde au son natif, avec des dialogues en direct

Google DeepMind a annoncé Genie 4, la nouvelle génération de son modèle de monde. Principale nouveauté : le système construit en temps réel un monde interactif avec le son, et les personnages y parlent et réagissent aux actions de l'utilisateur. L'annonce est signée Raia Hadsell, Diego Rivas et Hang Qi. Pour l'instant, Genie 4 n'est disponible qu'en research preview, pour un cercle restreint de testeurs de confiance, mais la feuille de route est déjà claire : d'abord les abonnés Google AI Ultra dans Project Genie et les premiers partenaires de Gemini API et de Google AI Studio, puis un déploiement plus large.

Gemini au cœur du simulateur

Genie 4 est nativement multimodale. La musique, les bruits de fond et les dialogues interactifs sont générés avec le monde, et non plaqués sur une vidéo déjà finie. Selon DeepMind, tous les sons des vidéos de démonstration ont été produits par le modèle lui-même.

Sur le plan architectural, Genie 4 puise dans les capacités de la famille Gemini. Gemini Omni ancre la simulation dans l'apparence et le comportement réels des objets. Les autres modèles Gemini se chargent des raisonnements complexes qui maintiennent la cohérence et la continuité du monde. Pour un monde construit à la volée, c'est le point le plus fragile : dès que le modèle perd le fil, une plateforme change de forme et le héros se transforme en une autre personne. Gemini joue ici le rôle de réalisateur : entre deux actions de l'utilisateur, il surveille la scène et pousse son évolution pour que le monde ne se fige pas.

Le contrôle reste simple. La navigation et la caméra fonctionnent avec un clavier ordinaire, et la scène peut être modifiée par du texte : changer la météo, déplacer la caméra, ajouter une personne ou un objet. Gemini adapte la commande au contexte pour que le nouvel élément ne ressemble pas à un ajout venu d'une autre vidéo.

Physique, personnages et son

DeepMind présente la simulation des humains comme le saut le plus visible : les personnages se déplacent naturellement, réagissent de façon organique à leur environnement et peuvent être contrôlés en temps réel. La physique du monde réel est annoncée séparément : aérodynamique, collisions et autres scénarios.

Les démonstrations sont choisies pour éprouver différentes facettes du modèle :

• un saxophoniste en costume marron flottant, sur une plateforme de béton en lévitation au milieu d'un lac, dans le style d'une pellicule documentaire 16 mm, avec un son réaliste de l'instrument et le bruit du vent ;
• un ruban infini de satin rose qui serpente en courbes en S sur une prairie vallonnée parsemée de fleurs sauvages ;
• une vue à la première personne depuis la nacelle en osier d'une montgolfière, au-dessus des glaciers de l'Antarctique, avec d'autres ballons à la dérive à l'horizon ;
• une pastèque sur un piédestal de pierre dans une cour : une vidéo au ralenti, avec des éclaboussures éclairées en contre-jour ;
• un plan macro d'une samare d'érable qui tombe d'un arbre ;
• une gare rurale japonaise des années 1980 bondée, avec un long train rouge sombre sur la voie la plus proche et un contrôleur en uniforme bleu marine ;
• un monde entièrement en 3D de vitrail, où même l'eau, le ciel et l'herbe restent du verre et du cristal.

Une vidéo comparative entre Genie 3 et Genie 4 montre aussi, de façon directe, l'écart en matière de photoréalisme, de fluidité des mouvements et de son. Les prompts de la démo sont structurés en deux couches : la description de l'environnement et celle du personnage. Certains sont très détaillés et fixent à la fois la composition, la lumière et des interdits du type « pas de HDR » ou « pas de plateformes vides ».

Pourquoi DeepMind s'y intéresse

L'entreprise formule son objectif ainsi : comprendre et simuler le monde est une étape clé sur la voie de l'AGI. L'aspect pratique est lui aussi énoncé clairement. Des simulations sûres et à variabilité infinie sont nécessaires comme environnements d'entraînement pour les robots et les agents, et elles ouvrent aussi la voie à de nouveaux formats interactifs.

Pour la robotique, l'intérêt est évident. Les terrains d'essai réels sont coûteux et limités, alors qu'un modèle de monde doté d'une physique et d'un comportement humain crédibles peut produire les scènes voulues à partir d'une description textuelle. La couche de dialogue offre aux agents un environnement où l'on leur parle et où l'on réagit à leurs actions.

Pour l'industrie du jeu vidéo et les créateurs de contenu, Genie 4 reste pour l'instant une vitrine. Il n'y a pas d'accès, ni de tarifs, ni de limites, et les vidéos ont été enregistrées dans des conditions contrôlées. Si vous travaillez avec des agents ou des simulations, il vaut la peine de vous inscrire sur la liste d'attente de Project Genie et de vérifier dans quelle mesure le monde garde sa cohérence sur la durée.

Les développeurs ont intérêt à suivre Gemini API et Google AI Studio : c'est là qu'apparaîtront les premiers accès partenaires. La grande question des prochains mois : peut-on entraîner des agents dans de tels mondes de manière à ce que leurs compétences se transfèrent au monde réel ?