Cosmos generó vídeo de entrenamiento para drones: el mAP@50–95 del detector subió un 10,3%

Un equipo de la Universidad Estatal de Ohio ha comprobado si el vídeo generado puede sustituir una parte de los vuelos de drones. Los investigadores tomaron el modelo de mundo abierto NVIDIA Cosmos-Predict1-7B Video2World, le dieron nueve fotogramas de grabaciones reales de fauna salvaje y obtuvieron continuaciones de escena de unos 120 fotogramas. Un detector entrenado solo con los fotogramas sintéticos seleccionados resultó más preciso en vídeos de campo reales que uno entrenado con datos reales: el mAP@50–95 (precisión media con umbrales estrictos de coincidencia de las cajas) subió de 0,845 a 0,932, es decir, un 10,3%.

Cómo se obtiene un conjunto de entrenamiento a partir de nueve fotogramas

El conjunto de partida es MMLA: 37 vídeos de drones a baja altitud grabados en Kenia y en el estado de Ohio, con 155 074 fotogramas anotados. Para el entrenamiento, los autores tomaron 20 618 fotogramas con 85 967 cajas de cebras, jirafas y onagros. Cada ejecución de Cosmos recibía nueve fotogramas consecutivos de la parte de entrenamiento y una breve descripción textual de la escena. La cámara, la altura, el paisaje y la iluminación quedan fijados por los fotogramas semilla, de modo que el modelo solo inventa cómo evoluciona la escena, no su aspecto. Así se elimina buena parte de la brecha entre simulación y realidad, que en los simuladores clásicos se intenta cerrar con aleatorización de texturas.

Los vídeos de prueba no se usaron nunca, ni como semilla, ni en los prompts, ni en la selección. La única variable es el conjunto de entrenamiento: el detector (YOLO11m en MMLA, YOLOv8m en VisDrone), los hiperparámetros y la muestra de prueba permanecen fijos.

El modelo se equivoca con frecuencia: a los animales les salen cabezas de más, los cuerpos se funden o desaparecen y el movimiento vulnera la física. Por eso un experto revisaba cada clip, descartaba todos los que tuvieran defectos y anotaba los fotogramas de los aceptados. En un piloto de 40 clips pasaron cinco, de ahí la estimación de descartes del 87,5%. En total se reunieron 26 702 fotogramas sintéticos con 93 004 cajas, y la muestra creció 2,3 veces en fotogramas.

Qué muestran las mediciones

En MMLA, añadir datos sintéticos a los reales elevó el mAP@50–95 de 0,845 a 0,881 (+4,3%), y la mejora creció de forma monótona con el volumen. En cambio, el mAP@50 se mantuvo en torno a 0,98: los datos sintéticos no ayudan a encontrar más animales, sino a afinar los límites de las cajas. El entrenamiento solo con datos sintéticos dio 0,932 y superó a la referencia real en todas las clases: la cebra pasó de 0,787 a 0,939, el onagro de 0,854 a 0,950 y la jirafa de 0,894 a 0,907. Aun así, el mAP@50, la precisión y la exhaustividad (recall) de este modelo no son superiores a los del modelo real.

Los autores advierten con franqueza de que las ejecuciones individuales no permiten separar las causas. El conjunto sintético tiene un 29,5% más de fotogramas que el real. Es probable que los fotogramas generados contengan menos desenfoque y menos ruido de sensor. Además, los anotó un solo experto en una única pasada, mientras que las etiquetas reales las elaboró un equipo numeroso. Los tres factores favorecen precisamente la localización estricta.

En el benchmark urbano VisDrone (24 201 fotogramas de entrenamiento, diez clases), el mAP@50–95 pasó de 0,138 a 0,184 (+33,5%) al añadir el 75% del conjunto seleccionado. Las clases poco frecuentes fueron las que más mejoraron: el camión subió de 0,050 a 0,277 y la furgoneta de 0,086 a 0,195. De 300 clips, el experto aceptó 76, y los 224 descartados (27 896 fotogramas) formaron el grupo de control. También ayudaron, pero el autobús, la clase más rara, cayó en ese modelo de 0,211 a 0,010. La selección alcanza el mismo resultado medio con una cuarta parte de los fotogramas sintéticos y protege a las clases raras.

Cuánto costó

La generación se ejecutó en una sola H100, con 330 segundos por clip y a $6,93 por hora de GPU. Todo el conjunto de MMLA requirió unas 163 horas y $1 131. De ellas, 143 horas ($989) se fueron en clips que nadie utilizó, así que un clip aceptado cuesta $5,08 y no $0,64. En VisDrone hay el doble de clips aceptados, pero tres cuartas partes de los $191 también pagaron descartes.

La muestra real sale más cara. La campaña de MMLA ocupó más de 150 horas-persona en dos continentes. La parte de entrenamiento (58%) equivale a unas 87 horas-persona, o $3 210 solo con la tarifa mediana de un biólogo en EE. UU., sin contar billetes de avión, alojamiento ni permisos de vuelo. Los datos sintéticos cuestan $1 131 más unos $164 de revisión experta de aproximadamente 1 780 clips, es decir, 2,5 veces menos. Sin las generaciones fallidas, la diferencia llegaría a unas 20 veces: los clips aceptados consumieron solo $141 de tiempo de GPU. Los autores excluyeron la anotación del cálculo, porque hace falta en ambos casos.

Las conclusiones tienen límites. La tasa de descartes se estimó a partir de un piloto pequeño, hace falta un experto para cada clip y algunas clases pueden degradarse sin que se note en el indicador medio. La línea de trabajo principal es detener en una fase temprana las generaciones que se sabe que serán malas y sustituir la revisión manual por comprobaciones automáticas. Si funcionan, los descartes dejarán de ser la partida más cara.