Cosmos a généré de la vidéo d'entraînement pour drones : le mAP@50–95 du détecteur progresse de 10,3%

Une équipe de l'Université d'État de l'Ohio a testé si de la vidéo générée pouvait remplacer une partie des vols de drones. Les chercheurs ont pris le modèle de monde (world model) ouvert NVIDIA Cosmos-Predict1-7B Video2World. Ils lui ont fourni neuf images issues de prises de vue réelles d'animaux sauvages, et il a produit des suites de scènes d'environ 120 images. Entraîné uniquement sur les images synthétiques sélectionnées, le détecteur s'est montré plus précis sur de vraies vidéos de terrain que celui entraîné sur des données réelles : le mAP@50–95 (précision moyenne pour des seuils de recouvrement des boîtes englobantes stricts) passe de 0,845 à 0,932, soit +10,3%.

Comment neuf images deviennent un échantillon d'entraînement

Le jeu de départ est MMLA : 37 vidéos de drones à basse altitude tournées au Kenya et dans l'Ohio, soit 155 074 images annotées. Pour l'entraînement, les auteurs ont retenu 20 618 images contenant 85 967 boîtes englobantes de zèbres, de girafes et d'onagres. Chaque exécution de Cosmos recevait neuf images consécutives de la partie d'entraînement et une courte description textuelle de la scène. La caméra, l'altitude, le paysage et l'éclairage sont fixés par ces images d'amorce : le modèle n'invente donc que le déroulement de la scène, pas son apparence. Cela supprime l'essentiel de l'écart entre simulation et réalité, que les simulateurs classiques comblent par la randomisation des textures.

Les vidéos de test n'ont jamais servi, ni comme images d'amorce, ni pour les prompts, ni pour la sélection. Seules les données d'entraînement varient : le détecteur (YOLO11m sur MMLA, YOLOv8m sur VisDrone), les hyperparamètres et l'échantillon de test sont fixes.

Le modèle se trompe régulièrement : des têtes en trop apparaissent chez les animaux, les corps fusionnent ou disparaissent, les mouvements violent les lois de la physique. Un expert a donc visionné chaque clip, rejeté tous ceux présentant un défaut et annoté les images de ceux qu'il a acceptés. Sur un pilote de 40 clips, cinq ont passé le filtre, d'où l'estimation de 87,5% de rebut. Au final, 26 702 images synthétiques avec 93 004 boîtes englobantes ont été réunies, et l'échantillon a été multiplié par 2,3 en nombre d'images.

Ce que montrent les mesures

Sur MMLA, l'ajout de données synthétiques aux données réelles a fait passer le mAP@50–95 de 0,845 à 0,881 (+4,3%), avec une hausse monotone selon le volume. En revanche, le mAP@50 est resté autour de 0,98 : la synthèse n'aide pas à trouver plus d'animaux, elle affine les contours des boîtes. L'entraînement sur données synthétiques seules a donné 0,932 et dépassé la référence réelle pour toutes les classes : zèbre de 0,787 à 0,939, onagre de 0,854 à 0,950, girafe de 0,894 à 0,907. En revanche, le mAP@50, la précision et le rappel de ce modèle ne sont pas supérieurs à ceux du modèle réel.

Les auteurs précisent avec franchise que des exécutions uniques ne permettent pas d'isoler les causes. Le pool synthétique compte 29,5% d'images de plus que le pool réel. Les images générées contiennent vraisemblablement moins de flou de bougé et de bruit de capteur. Enfin, un seul expert les a annotées en une seule passe, alors que les annotations réelles ont été produites par une grande équipe. Ces trois facteurs favorisent précisément la localisation stricte.

Sur le benchmark urbain VisDrone (24 201 images d'entraînement, dix classes), le mAP@50–95 passe de 0,138 à 0,184 (+33,5%) avec 75% du pool sélectionné ajouté. Les classes rares progressent le plus : camion de 0,050 à 0,277, fourgon de 0,086 à 0,195. Sur 300 clips, l'expert en a accepté 76, et les 224 clips rejetés (27 896 images) ont constitué le groupe de contrôle. Ils ont eux aussi aidé, mais pour le bus, la classe la plus rare, ce modèle chute de 0,211 à 0,010. La sélection atteint le même résultat moyen avec un quart des images synthétiques et protège les classes rares.

Combien cela a coûté

La génération a tourné sur un seul H100, à raison de 330 secondes par clip, au tarif de $6,93 par heure de GPU. Le pool MMLA complet a demandé environ 163 heures et $1 131. Sur ce total, 143 heures ($989) sont parties dans des clips que personne n'a utilisés : un clip accepté coûte donc $5,08, et non $0,64. Sur VisDrone, les clips acceptés sont deux fois plus nombreux, mais trois quarts des $191 ont là aussi payé le rebut.

L'échantillon réel revient plus cher. La campagne MMLA a mobilisé plus de 150 heures-homme sur deux continents. La part de l'entraînement (58%) représente environ 87 heures-homme, soit $3 210 au seul taux médian d'un biologiste aux États-Unis, hors billets d'avion, hébergement et autorisations de vol. La synthèse coûte $1 131, plus environ $164 pour la revue par un expert d'environ 1 780 clips, soit 2,5 fois moins cher. Sans les générations ratées, l'écart atteindrait environ 20 fois : les clips acceptés n'ont consommé que $141 de temps GPU. Les auteurs ont exclu l'annotation du calcul, car elle est nécessaire dans les deux cas.

Les conclusions restent limitées. Le taux de rebut a été estimé sur un petit pilote, un expert est nécessaire pour chaque clip, et certaines classes peuvent se dégrader sans que la moyenne le montre. La principale piste de travail est d'arrêter tôt les générations manifestement mauvaises et de remplacer le visionnage manuel par des contrôles automatiques. Si ces contrôles fonctionnent, le rebut cessera d'être le premier poste de dépense.