Бенчмарк KU-PCPE: модели находят опору композиции с Dice 0,664, эксперт — 0,867

Классификатор композиции может сказать, что на снимке «диагональ» или «правило третей», но не объяснит, какие именно части кадра за это отвечают. Команда из лаборатории компьютерного зрения TU Wien и UAS St. Pölten предложила закрыть этот пробел бенчмарком KU-PCP Elements (KU-PCPE). Задача звучит так: на входе фотография и метка композиции, которая к ней уже признана подходящей. На выходе нужна бинарная маска видимых областей, которые объясняют, почему метка применима. Лучшая рабочая модель добирается до Dice 0,664 (мера пересечения предсказанной и эталонной масок), а отложенный эксперт-человек набирает 0,867 в сравнении с двумя коллегами.

Что разметили и как

KU-PCPE опирается на датасет KU-PCP. Тот содержит метки композиции для всего изображения и геометрические элементы по классам: рамки главных объектов, ведущие линии, оси симметрии, треугольники, области неба. Новая работа добавляет единый человеческий формат для всех девяти классов: горизонтальная, вертикальная, диагональная, кривая, треугольник, правило третей, центр, симметрия и паттерн. Маска может состоять из нескольких несвязных частей и включать объекты, их фрагменты, фон и пустое пространство. Если у снимка несколько меток, под каждую создаётся отдельная задача.

Обучающая часть насчитывает 4093 маски на 3169 изображениях, их разметил один аннотатор. Тестовая часть — 1327 задач на 1073 изображениях, по три маски на задачу. Тестовые разметчики — три эксперта с художественным или дизайнерским образованием и опытом работы больше пяти лет. Они работали независимо в интерфейсе, где кандидатные области заранее предложила SAM2 Hiera-L. Разметчик выбирал нужные области, делил или объединял их и при необходимости дорисовывал границу вручную. Разметчики также оценивали, что лучше объясняет метку: область или автоматически найденная семантическая линия.

Где эксперты расходятся

Средний попарный Dice между экспертами составляет 0,7428. Для отложенного эксперта против согласованного консенсуса двух остальных получилось: Dice 0,8666, IoU 0,8054, boundary F1 0,7541 и Hit@0,5 — 0,9312. Последняя метрика показывает долю задач, где Dice не ниже 0,5. Лучше всего эксперты соглашаются на правиле третей, центре и треугольнике. Горизонтальная, диагональная, кривая композиции и паттерн допускают несколько разумных прочтений. Например, для одного горизонта «опорой» можно считать и небо, и землю, поэтому авторы строят два эталона: строгий и учитывающий такую неоднозначность. Порядок методов на обоих эталонах не меняется.

Оценки формы объяснения авторы называют исследовательскими. Попарное согласие по трём группам (сегмент, смешанное, линия) составляет всего 0,54. Горизонтальную композицию чаще объясняют смешанно, диагональную и треугольник — линиями, остальные классы чаще объясняют областями. Для 171 треугольной задачи, где есть результат детектора из KU-PCP, геометрия действительно пересекается с экспертной маской. Но люди дополнительно отмечают объекты, поверхности и фон, через которые треугольник воспринимается.

Что показали базовые модели

В сравнение вошли случайные маски той же площади, классовые шаблоны, U-Net без метки и с меткой, а также SegFormer-B0 с условием на метку. Обучены они на разметке одного аннотатора. Отдельно взят оракул: он знает эталон и жадно набирает кандидатные маски SAM2.1 Hiera-L. Его Dice равен 0,672, что лишь немного выше 0,664 у лучшей рабочей модели. Значит, дело отчасти упирается в сам набор предложений.

Для VLM-селекторов показывают размеченные номерами предложения (до 12 штук), а модель возвращает до трёх номеров. Объединение этих областей и считается ответом. В наборе есть Qwen3-VL, InternVL3.5, MiniCPM-V 4.5 и Molmo2, полный перечень приведён в приложении. Лучший из них достиг Dice 0,395, то есть заметно отстал от обученных сегментаторов. Дополнительно авторы проверили ResNet-50, Grad-CAM и карты сходства DINO ViT, чтобы связать маски с распознаванием класса.

Ограничения

Обучающая разметка принадлежит одному человеку, поэтому она отражает его представление о композиции. Оценки «сегмент или линия» согласованы слабо. VLM выбирают из готовых предложений, а не рисуют маску сами, так что их результат ограничен качеством кандидатов. Полные таблицы, доверительные интервалы и промпты вынесены в приложение, а данные, код оценки и инструменты реконструкции опубликованы на странице проекта. Для тех, кто строит помощников по фотографии или оценку эстетики, вывод простой. Объяснять свои метки по конкретным областям кадра современные модели пока умеют заметно хуже человека.