OBB-PBD учит LocateAnything-3B находить повёрнутые объекты: rotIoU вырос с 0,125 до 0,303

Команда Chang Woo Song и Yeong Jun Koh из Chungnam National University научила модель LocateAnything-3B находить на аэроснимках объекты по текстовому описанию и сразу обводить их повёрнутыми рамками. На бенчмарке AVVG средний rotIoU вырос с 0,1253 у zero-shot-базы до 0,303 ± 0,012 (среднее и стандартное отклонение по трём сидам обучения). Работа опубликована в журнале Remote Sensing, том 18, выпуск 20, статья 3535. Код и все 9 чекпоинтов лежат в открытом доступе.

Почему горизонтальный бокс не подходит для вида сверху

На обычных фотографиях объекты чаще всего стоят более-менее вертикально, и горизонтальная рамка из четырёх координат работает прилично. На снимках с дронов и спутников всё иначе. Автомобиль на парковке или на развязке может быть повёрнут на любой угол, и осево-выровненная рамка захватывает кучу фона и соседние машины. Метрика пересечения при этом честно падает.

Большинство grounding-моделей к тому же выдают координаты последовательно, токен за токеном. Parallel Box Decoding (PBD), заложенный в LocateAnything-3B, устроен иначе: все геометрические слоты предсказываются за один прямой проход. Но блок рассчитан только на четыре числа. Задача авторов состояла в том, чтобы вписать в этот блочный интерфейс угол и не потерять скорость.

Шесть слотов вместо четырёх

Ориентированный бокс теперь описывается шестью значениями: cx, cy, w, h, sin2θ и cos2θ. Угол кодируется через двойной аргумент. У прямоугольника поворот на 180° даёт ту же фигуру, поэтому прямое предсказание θ создаёт разрыв на границе диапазона. Пара sin2θ и cos2θ эту неоднозначность снимает, а сам угол потом восстанавливается из этих двух чисел. Декодирование по-прежнему идёт за один проход.

Отдельного внимания заслуживает методика проверки. Авторы пишут, что не стали полагаться на убывающую кривую лосса. Они прогнали контрольные тесты с перемешиванием изображений и промптов, а также пробы на видимость и утечку. Они показали, что исправленная модель опирается и на картинку, и на текст запроса, а не только на статистику промптов. Для области, где легко получить красивый лосс и бесполезную модель, это важная гигиена.

Что показали цифры

• Бенчмарк: AVVG (aerial vehicle visual grounding), цели действительно повёрнуты под разными углами.
• Тестовый набор: полные 6139 записей по всем 120 изображениям.
• Zero-shot база: rotIoU 0,1253.
• OBB-PBD: rotIoU 0,303 ± 0,012 по трём сидам.
• Вклад ориентации: обучение именно повёрнутым боксам, а не их осево-выровненным оболочкам, даёт +0,055 ± 0,008 rotIoU относительно матчевого контроля. Доверительные интервалы 95% по каждому сиду исключают ноль.
• Одно лишь расширение блока (block expansion) без обучения ориентации не даёт прироста rotIoU, отличимого от нуля.
• Формат бокса: (cx, cy, w, h, sin2θ, cos2θ).
• Базовая модель: LocateAnything-3B с Parallel Box Decoding.
• Публикация: Remote Sensing 18(20), 3535; релиз кода и 9 чекпоинтов.

Последний пункт самый поучительный. Прирост даёт не архитектурная надстройка, а то, чему модель учат. Если дать ей лишние слоты, но обучать на горизонтальных рамках, результат не изменится.

Что можно взять в работу

Абсолютные 0,303 rotIoU пока далеки от потолка. Это скорее рабочая отправная точка, чем готовый продукт для мониторинга территорий. Зато у неё есть несколько практических плюсов. Подход подходит командам, которые работают с аэро- и спутниковой съёмкой: для поиска транспорта по описанию, инвентаризации парковок, анализа трафика. Открытые чекпоинты позволяют не обучать модель с нуля, а сравнить её со своей базой на собственных данных. Схема с sin2θ и cos2θ переносится и на другие блочные декодеры, где нужно добавить угол, не ломая однопроходный интерфейс.

Стоит повторить и методику контролей. Матчевый осево-выровненный контроль и перемешивание изображений с промптами отделяют реальный вклад ориентации от эффекта дополнительных параметров. Для любой работы по grounding в нестандартных доменах это недорогой способ проверить, что модель действительно смотрит на картинку.