Qwen3-VL-4B после дообучения на снимках дронов стала точнее на 18,33 п.п. в тесте Drone-PUR

Группа исследователей из Университета Тяньцзиня, Нанькайского и Юго-Восточного университетов опубликовала Drone-PUR — датасет и бенчмарк, который проверяет, как мультимодальные модели (VLM) находят, интерпретируют и связывают между собой визуальные подсказки на снимках с беспилотников. Параллельно авторы показали базовую модель UAV-PUR, дообученную из Qwen3-VL: её версии на 4 и 8 млрд параметров улучшили общую точность в задачах с выбором ответа на 18,33 и 17,52 процентного пункта относительно исходных предобученных моделей.

Три уровня: восприятие, понимание, рассуждение

Идея бенчмарка в том, что итоговый ответ модели зависит от качества «улик» в кадре. Авторы определяют визуальную подсказку как значимую для задачи область изображения с одним или несколькими объектами, привязанную к конкретной модальности, ракурсу и времени съёмки. Восприятие находит такие области и достаёт базовые сведения: категорию, атрибуты, количество, положение. Понимание сопоставляет их с семантическими условиями и пространственными понятиями. Рассуждение соединяет несколько подсказок логическим выводом.

Пример из статьи: на снимке с уток модель должна увидеть птиц и ограду, разобрать структуру загона и следы присутствия человека, а затем объяснить, почему все утки собрались в пруду.

Дрон-съёмка делает такие задачи тяжелее обычных. Объекты мелкие и плотно расположенные, важные атрибуты занимают считаные пиксели, а смена ракурса меняет и внешний вид предметов, и систему пространственных ориентиров. В Drone-PUR больше 90% размеченных областей занимают меньше 1% площади изображения.

Что внутри датасета

Бенчмарк включает 11 задач, 175 213 обучающих и 20 051 тестовый пример. Входные данные разные: одиночные кадры, последовательности, пары RGB и тепловизионных (TIR) снимков, синхронные виды с нескольких дронов. Авторы взяли изображения из восьми собственных ранее выпущенных датасетов и добавили 66 940 новых. Десять задач оцениваются через выбор ответа, а детекция, привязка объекта к описанию (grounding) и подсчёт проверяются в открытом формате, то есть по прямому количественному предсказанию.

Четыре задачи на рассуждение охватывают причинные объяснения и выводы о ситуации в пределах одного кадра, а также объединение подсказок из разных модальностей и ракурсов. Примеры создавали с помощью VLM, перекрёстно проверяли другими моделями и вручную; на это ушло больше 800 человеко-часов. Задача Position Spatial Judgment (PSJ, оценка взаимного положения объектов) размечена полностью вручную, а все тестовые примеры прошли проверку людьми.

Результаты 22 моделей и эффект дообучения

Авторы протестировали 22 универсальные VLM. Внутри одного семейства более крупные модели обычно лучше справляются со всеми тремя уровнями. Исключение — пространственные суждения: их качество не растёт стабильно с размером, а предсказания демонстрируют систематические предпочтения по направлениям. Хуже всего моделям даются PSJ и мультиракурсное рассуждение (MVR).

Между моделями сильное восприятие коррелирует с сильным рассуждением. Эксперименты с дообучением на одной задаче показали избирательный перенос в обе стороны: тренировка на поиске и интерпретации подсказок улучшает рассуждение, а обучение на объединении подсказок повышает восприятие. Маскирование ключевых локальных областей и отключение модальностей или ракурсов подтвердили: без важных фрагментов и дополняющих наблюдений рассуждение страдает.

UAV-PUR обучали в три стадии: адаптация восприятия, совместное обучение всем навыкам и финальная консолидация только с языковым обучением. На первых двух стадиях использовали три вспомогательные «головы» с геометрическим и числовым контролем, которые помогают привязать визуальные представления к задачам съёмки с воздуха. При инференсе применяется лишь исходная языковая голова. Наибольшие улучшения получены в сопоставлении целей и привязке по нескольким источникам.

Ограничения

UAV-PUR всё ещё уступает лучшей API-модели в чистых задачах на рассуждение. Тонкая пространственная интерпретация, надёжные предсказания в открытом формате и объединение подсказок из разных источников остаются сложными даже после дообучения. Данные о конкретных моделях-лидерах и абсолютных баллах в доступном описании не приведены, поэтому сравнивать результаты стоит по материалам проекта на drone-pur.github.io.

Для команд, которые строят навигацию, инспекцию или мониторинг на базе VLM, главный вывод практичен: универсальные модели без адаптации к аэросъёмке ошибаются в мелких деталях и пространстве, а целевое дообучение даёт заметный выигрыш, но не закрывает разрыв в рассуждении. Открытый датасет с обучающей выборкой позволяет воспроизвести такой рецепт на собственных моделях.