Nvidia dévoile le premier jeu de données ouvert et des modèles d'IA de base pour les robots médicaux

Nvidia, avec la communauté de la recherche, a présenté Open-H-Embodiment, le premier grand jeu de données ouvert pour la robotique médicale, ainsi que deux modèles de base pour des scénarios chirurgicaux. Le paquet est publié sur Hugging Face et doit faire passer l'IA médicale de l'analyse d'images à des systèmes capables d'agir dans le monde physique.

Ce qui a été ouvert

L'idée de cette publication est simple : la médecine dispose déjà de suffisamment de modèles qui se contentent de reconnaître des images, de segmenter des tissus ou de classer des pathologies. Au bloc opératoire, lors d'une échographie ou d'une coloscopie, la machine doit manier un instrument, comprendre le contact avec les tissus, tenir compte de la cinématique du robot et boucler la boucle de contrôle par retour d'information. Open-H-Embodiment a été conçu précisément pour cela : un socle commun pour entraîner et évaluer la Physical AI en robotique médicale.

• 778 heures de données d'entraînement sous licence CC-BY-4.0
• 35 organisations participantes issues d'universités, de cliniques et de l'industrie
• scénarios de chirurgie, d'échographie et de coloscopie autonome
• données de simulation, d'exercices sur simulateurs et de procédures réelles
• prise en charge de plateformes robotiques commerciales et de recherche

Pour le marché, le format compte autant que le volume. Le jeu de données réunit vision, force, cinématique et différents types de corps robotiques dans une seule collection ouverte, afin que les équipes puissent comparer leurs approches sur une base commune plutôt que sur des collections locales fermées. Nvidia, Johns Hopkins, Technical University of Munich, Stanford et des dizaines d'autres équipes y participent : il ne s'agit donc pas d'une publication ponctuelle, mais d'une tentative de fixer un standard sectoriel.

Comment fonctionnent les modèles

Avec le jeu de données, Nvidia a publié GR00T-H, un modèle Vision-Language-Action pour la robotique chirurgicale, entraîné sur environ 600 heures de données d'Open-H-Embodiment. C'est en substance un modèle de politique : il reçoit un contexte visuel et textuel et le traduit en actions du robot. Les auteurs soulignent avoir introduit un espace d'actions normalisé commun à différents robots, des projections spécifiques à chaque cinématique et un entraînement sur des mouvements relatifs de l'instrument. Le prototype a déjà réalisé une suture complète dans le benchmark SutureBot : il ne s'agit pas d'un geste bref, mais d'une longue séquence d'actions précises.

La seconde brique de la pile est Cosmos-H-Surgical-Simulator, un world foundation model pour la simulation chirurgicale conditionnée par les actions. Il a été affiné sur Open-H-Embodiment afin de générer une vidéo plausible de l'opération directement à partir des actions cinématiques du robot, y compris des effets complexes comme la déformation des tissus mous, les reflets, le sang et la fumée. Le gain pratique est net : 600 exécutions dans ce simulateur prennent environ 40 minutes, contre environ deux jours pour des essais réels sur banc. L'affinage a mobilisé 64 GPU A100 et environ 10 000 heures de GPU : c'est donc une vraie base d'infrastructure, pas une vidéo de démonstration de laboratoire.

La suite

Le plus intéressant dans cette histoire, c'est la tentative de faire passer la robotique médicale du mode « le modèle voit » au mode « le modèle agit et généralise ». Un jeu de données ouvert et deux modèles fondamentaux offrent aux chercheurs une pile commune pour des expériences sim-to-real, la génération de données synthétiques et le transfert de compétences entre robots différents. C'est particulièrement important en chirurgie, où réunir de grands jeux de données de qualité coûte cher et où une erreur de contrôle coûte bien plus que dans la vision par ordinateur classique.

«

La robotique chirurgicale a besoin de son propre moment ChatGPT. »

C'est ainsi que les auteurs décrivent l'objectif de la deuxième version d'Open-H-Embodiment. L'étape suivante n'est pas seulement un meilleur contrôle de l'instrument, mais une autonomie dotée d'éléments de raisonnement : les systèmes devraient pouvoir expliquer leurs étapes, planifier de longues procédures, s'adapter aux défaillances et apprendre à partir de trajectoires annotées avec les intentions, les résultats et les types d'erreurs. Si la communauté parvient vraiment à réunir de telles données prêtes pour le raisonnement, la médecine pourrait obtenir non pas un énième algorithme étroit, mais une plateforme pour des assistants robotiques plus polyvalents.

Ce que cela signifie

Pour le marché de l'IA, c'est un changement important : en médecine, on commence à construire ouvertement non seulement des modèles de reconnaissance, mais une couche de base pour la Physical AI, où données, modèles de politique et simulateurs sortent en bloc. Si l'approche décolle, startups, laboratoires et fabricants de robots disposeront d'un kit de départ commun pour accélérer la recherche, réduire le coût des tests et passer plus vite des prototypes à des systèmes cliniquement utiles.