NVIDIA Cosmos 3 : des modèles pour raisonner et agir dans le monde physique des robots

NVIDIA a présenté sur le NVIDIA Developer Blog Cosmos 3, la nouvelle génération de sa plateforme Cosmos : une famille de modèles pour ce que l'on appelle l'IA physique (Physical AI). Ces modèles doivent comprendre le fonctionnement du monde réel, prédire l'évolution des événements et générer des actions pour des robots, des véhicules autonomes et des espaces « intelligents ».

Qu'est-ce que l'IA physique, et pourquoi a-t-elle besoin de tels modèles

Contrairement aux modèles de langage, qui travaillent sur du texte, ou aux modèles de vision par ordinateur, qui se contentent de reconnaître des objets dans une image, l'IA physique doit résoudre un problème plus complexe : comprendre le monde qui l'entoure dans sa dynamique. NVIDIA décrit un processus en trois étapes. Le système doit d'abord comprendre ce qui se passe en ce moment dans son environnement physique, puis prédire ce qui va probablement se produire ensuite, et seulement après générer l'action correcte ou un plan d'actions. Cosmos vise précisément cette chaîne « perception → prédiction → action ».

Principaux faits sur la plateforme :

• Développeur : NVIDIA
• Nom de la génération : Cosmos 3
• Catégorie de tâches : modèles de « fondation du monde » (world foundation models) pour l'IA physique
• Appareils visés : robots, véhicules autonomes, espaces « intelligents »
• Source de l'annonce : NVIDIA Developer Blog

Comment Cosmos s'insère dans l'écosystème de la robotique

Pour fonctionner de façon sûre et utile, les robots et les voitures autonomes ne peuvent pas se contenter de « voir » leur environnement : il leur faut un modèle du monde qui leur permette d'anticiper les conséquences de leurs propres actions et de celles des autres acteurs du milieu, avant même que le mouvement physique n'ait lieu. Ces modèles étaient auparavant conçus sur mesure pour un matériel et un scénario précis, ce qui les rendait coûteux et peu transférables d'un type de robot à l'autre. Une plateforme généraliste comme Cosmos fournit au contraire une couche de base de « compréhension de la physique » du monde.

Les développeurs de systèmes robotiques précis, des manipulateurs industriels aux robots de service, peuvent bâtir dessus leurs propres modèles, plus spécialisés, sans repartir de zéro à chaque fois. Cette approche, un modèle généraliste comme socle sur lequel on affine ensuite des solutions ciblées, a déjà fait ses preuves pour les modèles de langage et de vision, et NVIDIA parie visiblement que la même logique fonctionnera pour l'IA physique.

Quels secteurs la technologie touchera-t-elle

L'intérêt pratique de tels modèles dépasse largement la seule robotique. Le transport autonome est la deuxième catégorie en importance : le système doit y prédire avec précision, à une fraction de seconde près, le comportement des autres usagers de la route afin de prendre des décisions sûres en temps réel. Le troisième volet concerne les espaces « intelligents » : ateliers de production, entrepôts et autres environnements équipés de capteurs et de caméras, où l'IA physique peut coordonner de nombreux appareils simultanément en s'appuyant sur un modèle commun de ce qui se passe dans le lieu.

L'arrivée d'une telle plateforme chez NVIDIA, l'un des principaux fournisseurs d'infrastructure de calcul pour l'IA, indique qu'en 2026 l'attention de l'industrie se déplace peu à peu des modèles qui ne traitent que du texte et des images vers des modèles censés agir dans le monde physique et assumer les conséquences de leurs décisions.

Pour les développeurs de systèmes robotiques précis, l'intérêt pratique d'une telle plateforme réside dans la réduction du délai entre l'idée et un prototype fonctionnel. Au lieu de passer des années à collecter et annoter leur propre jeu de données sur les interactions du robot avec son environnement physique, une équipe peut partir d'un modèle de « fondation du monde » déjà entraîné et l'adapter à une tâche donnée, par exemple un type précis de manipulateur ou un scénario de logistique d'entrepôt. C'est le chemin qu'ont suivi il y a quelques années la vision par ordinateur et le traitement du langage naturel, lorsque le passage de l'entraînement from scratch à l'affinage de modèles de base prêts à l'emploi a accéléré d'un ordre de grandeur la mise sur le marché de produits applicatifs.

NVIDIA compte manifestement reproduire cet effet pour les robots et les systèmes autonomes.