NVIDIA dévoile un outil de génération d'images médicales 3D

NVIDIA a présenté NV-Generate-CTMR — un framework ouvert pour la synthèse d'images médicales 3D réalistes. Cette solution repose sur le nouvel ensemble de données MR-RATE — le plus grand ensemble ouvert d'études IRM multimodales du cerveau.

Le problème de la pénurie de données

La disponibilité de données de haute qualité pour l'IA en radiologie est un goulot d'étranglement dans le développement de systèmes diagnostiques. Les principaux problèmes sont : la limitation des ensembles de données disponibles, le respect de la confidentialité des patients et le coût élevé de l'annotation par des experts. Les modèles entraînés sur des données étroites ne se généralisent pas bien et échouent à fonctionner sur d'autres types de scanners et protocoles cliniques. En conséquence, les développeurs passent de longs mois à collecter des dizaines de milliers d'images, à coordonner l'accès avec les hôpitaux et à négocier avec les régulateurs. Cela gèle le développement pendant des mois.

Comment fonctionne NVIDIA NV-Generate

Le framework est basé sur deux variantes de l'architecture MAISI : MAISI-v1 utilise des modèles de diffusion probabiliste latente pour une génération diversifiée. MAISI-v2 applique Latent Rectified Flow — ce qui a fourni une accélération d'inférence 33 fois supérieure et une meilleure qualité. Le modèle spécialisé NV-Generate-MR-Brain synthétise les IRM cérébrales avec différents contrastes : T1, T2, FLAIR et SWI. Les volumes de sortie vont jusqu'à 512 × 512 × 256 pixels. Le système supporte à la fois le cerveau entier et les images sans crâne, avec contrôle des structures anatomiques via les modules ControlNet.

« C'est le premier framework qui permet de spécifier les structures

anatomiques dans les images synthétiques avec une correspondance exacte des conditions ».

L'ensemble de données MR-RATE — un nouveau standard

Pour l'entraînement, MR-RATE a été utilisé — le plus grand ensemble ouvert d'études IRM multimodales du cerveau :

• 100 000 études IRM
• 83 000+ patients uniques
• 700 000 volumes 3D
• Rapports radiologiques et données cliniques désidentifiés

Cette échelle permet aux modèles d'apprendre à partir de la véritable diversité des scanners, des protocoles et des pathologies — des structures saines aux tumeurs rares.

Avantages pour les développeurs

Le framework est flexible : un seul modèle fonctionne avec différentes résolutions, tailles de volumes et zones couvertes. Il ne nécessite pas de réentraînement pour chaque scanner dans la clinique. Efficacité : l'ajustement fin nécessite moins de calculs que l'entraînement de zéro. La vitesse de MAISI-v2 est comparable aux meilleurs modèles de génération vidéo. Les chercheurs externes ont déjà appliqué ces modèles pour détecter les anomalies, classifier le cancer du poumon, identifier les lésions de la prostate et synthétiser entre les modalités.

Ce que cela signifie

Les images médicales synthétiques deviennent un outil pratique pour l'industrie. Les cliniques et les startups medtech peuvent maintenant entraîner des modèles IA robustes sans attendre d'énormes ensembles de données et d'approbations pour les données privées des patients. Dans un contexte où la médecine devient de plus en plus personnalisée et multimodale, la génération évolutive de données est un avantage concurrentiel critique.