Les modèles du monde entraînent robots et voitures autonomes en simulation, mais leurs données sont collectées par des humains

Si vous avez déjà entraîné un modèle avec des données insuffisantes sur les cas rares, vous connaissez le problème : expérimenter dans le monde réel coûte trop cher. Impossible de faire tomber un robot un million de fois ou d'envoyer délibérément une voiture autonome sur une route verglacée. C'est précisément cette lacune que comblent les modèles du monde. Selon les prévisions, ils devraient se rapprocher sensiblement de notre quotidien en 2027.

En quoi diffèrent-ils des LLM ?

Oliver Cameron, PDG du laboratoire Odyssey, explique simplement la différence. Un modèle de langage reçoit une phrase et prédit le mot suivant. Un modèle du monde reçoit un état visuel du monde, par exemple une image, et prédit l'état suivant. Pour y parvenir, le modèle doit comprendre la physique, les relations de cause à effet et la manière dont les personnes et les objets réagissent à nos actions. C'est ainsi que Jamie Shotton, directeur scientifique de Wayve, définit le problème.

En pratique, on obtient un environnement 3D généré qui ressemble au monde réel et se comporte comme lui. Un terrain d'entraînement où les erreurs ne coûtent rien.

À quoi cela ressemble-t-il concrètement ?

Brian McClendon, directeur technique de Niantic Spatial, décrit un scénario pour un robot domestique. Vous photographiez la pièce dans laquelle il travaillera. Un modèle 3D est construit à partir des clichés, puis le logiciel exécute des millions de simulations pour que le robot apprenne la configuration des lieux : où se trouve la table, où est le seuil et quels objets peuvent être déplacés.

Niantic dispose ici d'un avantage. Pendant des années, les joueurs de Pokémon Go ont scanné les rues. L'entreprise, qui a vendu le jeu l'an dernier, mise désormais sur la reconstruction du monde réel. Wayve suit une autre voie : son modèle génératif s'appuie en partie sur des enregistrements de caméras embarquées et recrée des routes et des conditions dangereuses qu'il serait impossible de tester en situation réelle sans risque.

Le jeu vidéo constitue un troisième domaine d'application. La physique et le rendu 3D y sont des éléments fondamentaux, ce qui explique pourquoi Tencent investit dans ses propres modèles du monde.

Les investissements et leur coût caché

Les transactions témoignent de l'intérêt des investisseurs. Yann LeCun, ancien directeur scientifique de l'IA chez Meta, a levé plus d'un milliard de dollars pour sa start-up Advanced Machines Intelligence. World Labs, fondée par Fei-Fei Li en 2024, a été rachetée cette année par AMD pour plus de 8 milliards de dollars. Google continue de vanter régulièrement ses progrès dans ce domaine.

Mais il existe un aspect moins visible. Pour simuler le monde physique, les laboratoires ont besoin d'enregistrements de ce monde, réalisés par des personnes bien réelles. L'auteur d'un article de Wired s'est attaché un iPhone au front et s'est filmé pendant plusieurs heures en train de plier du linge, de faire la vaisselle et de verser du cola. Il a ensuite vendu ces vidéos via une application pour une somme modeste. Si les entreprises poursuivent leur quête de qualité, ce vaste marché de petits boulots consacrés à la collecte de données ne fera que croître.

Les limites et les pistes d'action

L'article propose essentiellement un tour d'horizon : il ne fournit ni mesures précises de la qualité des simulations, ni comparaison avec des essais réels, ni calendrier de diffusion massive des robots domestiques. La prévision concernant 2027 reste une prévision.

Pour les professionnels, voici ce qu'il faut en retenir. Si vous développez des solutions de robotique, des véhicules autonomes ou des jeux vidéo, la simulation fondée sur les modèles du monde mérite votre attention comme moyen peu coûteux de couvrir les situations rares et dangereuses. Si vous êtes responsable produit ou fondateur, prêtez attention au manque de données : disposer d'enregistrements uniques du monde physique constituera un avantage. Quant à ceux qui collectent ces données, ils devraient anticiper les questions de consentement, de confidentialité et de rémunération équitable, car c'est probablement sur ce terrain que les régulateurs et les utilisateurs commenceront à demander des comptes.