Benchmark KU-PCPE: modelos encontram o apoio da composição com Dice de 0,664; especialista chega a 0,867

Um classificador de composição pode dizer que uma foto tem “diagonal” ou “regra dos terços”, mas não explica quais partes do quadro são responsáveis por isso. A equipe do laboratório de visão computacional da TU Wien e da UAS St. Pölten propôs preencher essa lacuna com o benchmark KU-PCP Elements (KU-PCPE).

A tarefa funciona assim: a entrada é uma fotografia e um rótulo de composição já reconhecido como adequado a ela. A saída deve ser uma máscara binária das áreas visíveis que explicam por que o rótulo se aplica. O melhor modelo funcional chega a Dice de 0,664 (medida de sobreposição entre a máscara prevista e a de referência), enquanto o especialista humano mantido de fora da referência marca 0,867 na comparação com os outros dois colegas.

O que foi anotado e como

O KU-PCPE se baseia no dataset KU-PCP, que traz rótulos de composição para a imagem inteira e elementos geométricos por classe: molduras dos objetos principais, linhas de condução, eixos de simetria, triângulos e áreas de céu. O novo trabalho acrescenta um formato humano único para as nove classes: horizontal, vertical, diagonal, curva, triângulo, regra dos terços, centro, simetria e padrão. A máscara pode ter várias partes desconexas e incluir objetos, fragmentos deles, fundo e espaço vazio. Se uma foto tem vários rótulos, cada um gera uma tarefa separada.

A parte de treino reúne 4093 máscaras em 3169 imagens, anotadas por um único anotador. A parte de teste tem 1327 tarefas em 1073 imagens, com três máscaras por tarefa. Os anotadores do teste são três especialistas com formação em arte ou design e mais de cinco anos de experiência. Eles trabalharam de forma independente, em uma interface na qual o SAM2 Hiera-L já havia sugerido áreas candidatas. O anotador escolhia as áreas relevantes, dividia ou unia essas áreas e, quando necessário, completava o contorno à mão. Os anotadores também avaliaram o que explica melhor o rótulo: uma área ou uma linha semântica encontrada automaticamente.

Onde os especialistas divergem

O Dice médio entre pares de especialistas é de 0,7428. Para o especialista mantido de fora, comparado ao consenso dos outros dois, os resultados foram: Dice de 0,8666, IoU de 0,8054, boundary F1 de 0,7541 e Hit@0,5 de 0,9312. Esta última métrica mostra a fração das tarefas em que o Dice é de pelo menos 0,5.

Os especialistas concordam mais na regra dos terços, no centro e no triângulo. Horizontal, diagonal, curva e padrão admitem mais de uma leitura razoável. Por exemplo, em uma foto com apenas um horizonte, tanto o céu quanto o solo podem ser considerados o “apoio”.

Por isso, os autores constroem duas referências: uma estrita e outra que leva em conta essa ambiguidade. A ordem dos métodos não muda em nenhuma das duas.

Os autores classificam como exploratórias as avaliações sobre a forma da explicação. A concordância entre pares nos três grupos (segmento, misto, linha) é de apenas 0,54. A composição horizontal costuma ser explicada de forma mista, a diagonal e o triângulo por linhas, e as demais classes, mais frequentemente por áreas. Nas 171 tarefas de triângulo que têm resultado do detector do KU-PCP, a geometria de fato se sobrepõe à máscara do especialista. Mas as pessoas também marcam objetos, superfícies e fundo pelos quais o triângulo é percebido.

O que os modelos de base mostraram

A comparação incluiu máscaras aleatórias de mesma área, modelos de classe, U-Net sem rótulo e com rótulo, além de um SegFormer-B0 condicionado ao rótulo. Todos foram treinados com as anotações de um único anotador. Também entrou um oráculo, que conhece a referência e seleciona de forma gulosa máscaras candidatas do SAM2.1 Hiera-L. Seu Dice é de 0,672, apenas um pouco acima dos 0,664 do melhor modelo funcional. Ou seja, o limite está em parte no próprio conjunto de propostas.

Para os VLMs seletores, as propostas aparecem numeradas (até 12), e o modelo devolve até três números. A união dessas áreas é considerada a resposta. O conjunto inclui Qwen3-VL, InternVL3.5, MiniCPM-V 4.5 e Molmo2; a lista completa está no apêndice. O melhor deles alcançou Dice de 0,395, ficando bem atrás dos segmentadores treinados. Os autores também testaram ResNet-50, Grad-CAM e mapas de similaridade do DINO ViT, para relacionar as máscaras ao reconhecimento da classe.

Limitações

As anotações de treino pertencem a uma única pessoa, então refletem a visão dela sobre composição. As avaliações de “segmento ou linha” têm baixa concordância. Os VLMs escolhem entre propostas prontas em vez de desenhar a máscara, de modo que o resultado fica limitado pela qualidade dos candidatos. As tabelas completas, os intervalos de confiança e os prompts estão no apêndice, e os dados, o código de avaliação e as ferramentas de reconstrução foram publicados na página do projeto. Para quem desenvolve assistentes de fotografia ou avaliação de estética, a conclusão é simples: os modelos atuais ainda explicam seus rótulos por áreas específicas do quadro bem pior do que um humano.