Исследователи выпустили датасет AVID: у 68,1% целей сторона рамки всего 8–16 пикселей

Исследователи из Georgia Institute of Technology, ARTPARK при Индийском институте науки и Ramaiah Institute of Technology представили AVID — датасет и набор тестов на устойчивость для поиска очень маленьких воздушных целей. В наборе 32 040 пар кадров из 115 видео: одну и ту же сцену снимают наземные камеры видимого диапазона (RGB) и инфракрасные (ИК), а в кадре — птицы и дроны. Для 35 952 размеченных целей авторы посчитали среднее геометрическое ширины и высоты рамки: у 68,1% целей оно составляет всего 8–16 пикселей. Кроме того, камеры смотрят на сцену чуть по-разному, и у 16,3% из 264 проверенных пар сдвиг между RGB и ИК больше медианной стороны цели.

Что внутри набора

Съёмка взята из Drone Detection Dataset, который собрали Свансторм (Svanström) с коллегами. Пары «птица — дрон» отобрали для конкурса IEEE ICIP 2025 Video and Image Processing Cup. Платформа конкурса для опознавания груза дрона в AVID не вошла.

Разметка включает 35 952 объекта: 15 471 птицу и 20 481 дрон. Рамки и классы унаследованы от организаторов конкурса. Обучающая часть содержит 28 790 пар из 102 видео, валидационная — 3 250 пар из 13 других видео. Всего в наборе 76 видео с дронами и 39 с птицами. Длина клипа — от 50 до 329 пар кадров, медиана 306, среднее 278,6. Идентификаторы видео позволяют строить проверку так, чтобы соседние кадры одного ролика не попадали и в обучение, и в тест.

Важная оговорка авторов: пара RGB и ИК означает, что кадры соответствуют друг другу по сцене, но не совмещены пиксель в пиксель. У камер разная оптика, поэтому цель может оказаться в разных координатах. Это рассогласование не считают случайным шумом — оно входит в условия оценки.

Крошечные цели и сдвиг камер

По критерию COCO для малых объектов к ним относятся 99,0% целей. Такое распределение слишком однородно, поэтому авторы разбирают размеры более тонкими интервалами: диапазон 8–16 пикселей включает 24 489 аннотаций.

Для сдвига между камерами введены два инструмента: относительное отношение выравнивания и «кривая нагрузки рассогласования». Они измеряют смещение в сторонах цели, а не в пикселях. Сдвиг в пять пикселей почти не влияет на крупный объект, но для цели шириной десять пикселей он очень велик. В выборке из 300 пар у 32,3% оценённая глобальная трансляция превышает 5 пикселей. Среди 264 пар с совпадающей разметкой у 16,3% сдвиг больше одной медианной стороны цели.

Тест на помехи и анализ разделимости

Вторая часть работы — контролируемый тест на искажения. Он моделирует семь семейств деградации изображения на пяти уровнях силы. Среди них шум, размытие, смена освещения и нестабильность камеры. Помехи можно применять только к RGB, только к ИК или к обоим каналам сразу, так что поражённый сенсор становится явной переменной эксперимента. Авторы не считают, что номинальная сила помехи равна реальной сложности задачи для детектора.

Дополнительно проведён анализ в фиксированном малоразмерном пространстве признаков. Он показывает, как размер цели, искажения и добавленные сдвиги между модальностями влияют на перекрытие классов «птица» и «дрон». Мерой служит граница ошибки Бхаттачарьи: чем ниже значение, тем лучше разделяются классы. При размере цели 12–16 пикселей она равна 0,148 для RGB, 0,198 для ИК и 0,046 для объединённых признаков. Объединение сенсоров заметно сокращает перекрытие, хотя по отдельности ИК здесь уступает RGB.

Эти значения описывают разделимость в выбранных признаках и моделях плотности, а не точность обученного детектора. Анализ также опирается на размеченные положения целей.

Авторы предлагают использовать AVID для исследований, учитывающих масштаб, выравнивание и особенности отдельных сенсоров. Он помогает понять, при каких условиях слияние RGB и ИК даёт выигрыш, а при каких теряет смысл. Препринт опубликован на arXiv в разделе cs.CV.