Project Genie de DeepMind a appris à simuler les lieux réels de Google Street View

DeepMind a étendu l'accès à Project Genie à tous les abonnés de Google AI Ultra dans le monde et a présenté une nouvelle capacité d'intégration avec Google Street View, qui permet de simuler des vidéos interactives de lieux géographiques réels.

Qu'est-ce que Project Genie

Project Genie est un modèle de génération vidéo de pointe de Google DeepMind qui crée des scènes vidéo interactives basées sur des descriptions textuelles ou des images. Contrairement aux générateurs vidéo ordinaires qui lisent simplement le contenu préenregistré, Genie construit un monde virtuel dynamique qui répond aux actions de l'agent en temps réel.

Le modèle peut montrer une personne (ou un robot) dans une scène effectuant diverses actions : marcher dans différentes directions, manipuler des objets, interagir avec l'environnement. À chaque action, la vidéo se met à jour, reflétant les lois physiques et les relations de cause à effet entre les événements. Cela rend l'expérience similaire au contrôle d'un personnage de jeu vidéo, mais basée sur les prédictions du réseau de neurones plutôt que sur le matériel préalablement enregistré.

Nouvelle intégration avec Street View

La nouvelle fonction combine les capacités de Project Genie avec Google Street View, une immense archive de photographies panoramiques de millions de lieux sur le globe. Maintenant, au lieu de scènes imaginaires ou synthétiques, l'agent peut interagir avec des lieux réels : les centres historiques des villes, les parcs, les espaces publics, les attractions touristiques.

Cela transforme Street View d'une galerie de photos statiques en un monde virtuel interactif. L'utilisateur peut non seulement regarder une photo panoramique de la Place Saint-Pierre, mais aussi littéralement « se promener » sur celle-ci, en explorant les détails architecturaux, en regardant dans les vitrines des magasins, en interagissant avec les objets, en voyant comment l'image change en fonction de ses actions.

Où cela peut être utile

La simulation vidéo interactive des lieux réels ouvre de nombreuses applications pratiques :

• Planification des voyages et tourisme - les touristes pourront examiner virtuellement une attraction avant la visite
• Réhabilitation et accessibilité - les personnes ayant des limitations de mobilité pourront explorer à distance les espaces publics
• Architecture et urbanisme - les concepteurs pourront simuler comment les nouveaux bâtiments s'intègrent dans les espaces existants
• Robotique - les réseaux de neurones pour les robots autonomes pourront s'entraîner sur des scénarios urbains réels
• Éducation et culture - les visites virtuelles des sites historiques deviendront entièrement interactives

Chacune de ces applications exige de Genie un haut niveau de réalisme dans la prédiction des processus physiques et du comportement humain.

Défis techniques

La génération de vidéos interactives réelles nécessite d'énormes ressources informatiques. Le modèle doit non seulement prédire les images vidéo suivantes avec une grande précision, mais aussi le faire avec un délai minimal pour que l'interaction semble fluide et réelle. De petites erreurs dans la prédiction de la physique ou des mouvements humains peuvent s'accumuler rapidement, détruisant l'illusion de réalité.

Élargissement de l'accès

Jusqu'à présent, Project Genie n'était accessible qu'à un nombre limité d'utilisateurs. Maintenant, Google élargit l'accès à tous les abonnés de Google AI Ultra dans le monde entier. Cela permettra à un plus grand nombre de développeurs, chercheurs et passionnés d'expérimenter la génération vidéo interactive de lieux réels. L'élargissement de l'accès à une technologie aussi avancée signale que le modèle a atteint un certain niveau de stabilité et de maturité pour une utilisation dans des applications réelles.

Que cela signifie

La limite entre l'information statique (photos, vidéos, cartes) et les simulations IA interactives s'estompe progressivement. Project Genie combiné avec Street View est une étape importante vers la création d'une « réalité interactive alternative » basée sur des données géographiques réelles. À l'avenir, les gens pourront non seulement regarder les lieux, mais aussi les explorer activement, interagir avec les objets et l'environnement, entraîner les systèmes IA basés sur des simulations. Cela change fondamentalement la façon dont nous consommons l'information sur le monde et interagissons avec l'espace géographique.