Cosmos сгенерировал обучающее видео для дронов: mAP@50–95 детектора выросла на 10,3%

Команда из Университета штата Огайо проверила, можно ли заменить часть полётов дронов сгенерированным видео. Исследователи взяли открытую world-модель NVIDIA Cosmos-Predict1-7B Video2World, скормили ей по девять кадров из реальных съёмок диких животных и получили продолжения сцен примерно по 120 кадров. Детектор, обученный только на отобранных синтетических кадрах, на настоящих полевых видео оказался точнее детектора, обученного на реальных данных: mAP@50–95 (средняя точность при строгих порогах совпадения рамок) выросла с 0,845 до 0,932, то есть на 10,3%.

Как из девяти кадров получается обучающая выборка

Исходный набор — MMLA: 37 низковысотных видео с дронов из Кении и штата Огайо, 155 074 размеченных кадра. Для обучения авторы взяли 20 618 кадров с 85 967 рамками зебр, жирафов и онагров. Каждый запуск Cosmos получал девять подряд идущих кадров из обучающей части и короткое текстовое описание сцены. Камера, высота, ландшафт и освещение задаются затравкой, поэтому модель придумывает только развитие сцены, а не внешний вид. Это снимает большую часть разрыва между симуляцией и реальностью, который в классических симуляторах закрывают рандомизацией текстур.

Тестовые видео ни разу не использовались ни для затравки, ни для промптов, ни для отбора. Единственной переменной остаются обучающие данные: детектор (YOLO11m на MMLA, YOLOv8m на VisDrone), гиперпараметры и тестовая выборка фиксированы.

Модель регулярно ошибается: у животных появляются лишние головы, тела сливаются или исчезают, движение нарушает физику. Поэтому эксперт просматривал каждый клип, отбраковывал любой с дефектом и размечал кадры принятых. На пилоте из 40 клипов прошли пять, отсюда оценка брака в 87,5%. В итоге набралось 26 702 синтетических кадра с 93 004 рамками, и выборка выросла в 2,3 раза по кадрам.

Что показали замеры

На MMLA добавка синтетики к реальным данным подняла mAP@50–95 с 0,845 до 0,881 (+4,3%), причём рост шёл монотонно с объёмом. А вот mAP@50 держалась около 0,98: синтетика не помогает находить больше животных, она уточняет границы рамок. Обучение только на синтетике дало 0,932 и обогнало реальную базу по всем классам: зебра с 0,787 до 0,939, онагр с 0,854 до 0,950, жираф с 0,894 до 0,907. При этом mAP@50, точность и полнота у такой модели не выше, чем у реальной.

Авторы честно оговаривают, что одиночные прогоны не разделяют причины. Синтетический пул больше реального на 29,5% кадров. Сгенерированные кадры, вероятно, содержат меньше смаза и шума сенсора. А размечал их один эксперт за один проход, тогда как реальные метки делала большая команда. Все три фактора помогают именно строгой локализации.

На городском бенчмарке VisDrone (24 201 обучающий кадр, десять классов) mAP@50–95 выросла с 0,138 до 0,184 (+33,5%) при добавлении 75% отобранного пула. Сильнее всего подросли редкие классы: грузовик с 0,050 до 0,277, фургон с 0,086 до 0,195. Из 300 клипов эксперт принял 76, а 224 отбракованных клипа (27 896 кадров) пошли в контрольную группу. Они тоже помогли, но автобус, самый редкий класс, у такой модели просел с 0,211 до 0,010. Отбор достигает того же среднего результата с четвертью синтетических кадров и защищает редкие классы.

Во сколько это обошлось

Генерация шла на одной H100 по 330 секунд на клип по цене $6,93 за GPU-час. Весь пул MMLA потребовал около 163 часов и $1 131. Из них 143 часа ($989) ушли на клипы, которые никто не использовал, поэтому принятый клип стоит $5,08, а не $0,64. На VisDrone принятых вдвое больше, но три четверти из $191 тоже оплатили брак.

Реальная выборка обходится дороже. Кампания MMLA заняла больше 150 человеко-часов на двух континентах. Доля обучающей части (58%) — около 87 человеко-часов, или $3 210 только по медианной ставке биолога в США, без авиабилетов, жилья и разрешений на полёты. Синтетика стоит $1 131 плюс около $164 на экспертный просмотр примерно 1 780 клипов, то есть дешевле в 2,5 раза. Без неудачных генераций разрыв достиг бы примерно 20 раз: принятые клипы заняли лишь $141 GPU-времени. Разметку авторы из расчёта исключили, она нужна в обоих вариантах.

Выводы ограничены. Брак оценён по небольшому пилоту, эксперт нужен на каждом клипе, а отдельные классы могут незаметно деградировать в среднем показателе. Главное направление дальнейшей работы — остановка заведомо плохих генераций на раннем этапе и автоматические проверки вместо ручного просмотра. Если они сработают, самой дорогой статьёй расходов перестанет быть брак.