Benchmark KU-PCPE: los modelos localizan las zonas clave de la composición con un Dice de 0,664; el experto, con 0,867

Un clasificador de composición puede decir que una imagen es «diagonal» o responde a la «regla de tercios», pero no explica qué partes del encuadre lo determinan. El equipo del laboratorio de visión por computador de TU Wien y UAS St. Pölten propone cubrir ese vacío con el benchmark KU-PCP Elements (KU-PCPE).

La tarea es la siguiente: la entrada es una fotografía y una etiqueta de composición que ya se ha reconocido como adecuada para ella. La salida debe ser una máscara binaria de las áreas visibles que explican por qué se aplica esa etiqueta. El mejor modelo práctico llega a un Dice de 0,664 (una medida de la intersección entre la máscara predicha y la de referencia), mientras que el experto humano apartado como evaluador (held-out) obtiene 0,867 al compararse con sus dos colegas.

Qué se anotó y cómo

KU-PCPE se basa en el dataset KU-PCP, que contiene etiquetas de composición para toda la imagen y elementos geométricos por clase: recuadros de los objetos principales, líneas guía, ejes de simetría, triángulos y zonas de cielo. El nuevo trabajo añade un formato humano unificado para las nueve clases: horizontal, vertical, diagonal, curva, triángulo, regla de tercios, centro, simetría y patrón. Una máscara puede constar de varias partes inconexas e incluir objetos, fragmentos de ellos, fondo y espacio vacío. Si una imagen tiene varias etiquetas, se crea una tarea independiente para cada una.

La parte de entrenamiento reúne 4093 máscaras sobre 3169 imágenes, anotadas por un solo anotador. La parte de prueba contiene 1327 tareas sobre 1073 imágenes, con tres máscaras por tarea. Los anotadores de la prueba son tres expertos con formación artística o de diseño y más de cinco años de experiencia. Trabajaron de forma independiente en una interfaz en la que SAM2 Hiera-L les proponía de antemano áreas candidatas. Cada anotador seleccionaba las áreas pertinentes, las dividía o las fusionaba y, si hacía falta, completaba el contorno a mano. Además, evaluaron qué explicaba mejor la etiqueta: un área o una línea semántica detectada automáticamente.

Dónde discrepan los expertos

El Dice medio por pares entre expertos es de 0,7428. Para el experto apartado frente al consenso acordado de los otros dos, los resultados fueron: Dice 0,8666, IoU 0,8054, boundary F1 0,7541 y Hit@0,5 de 0,9312. Esta última métrica indica la proporción de tareas en las que el Dice no baja de 0,5.

Los expertos coinciden más en la regla de tercios, el centro y el triángulo. La composición horizontal, la diagonal, la curva y el patrón admiten varias lecturas razonables. Por ejemplo, en una imagen con un solo horizonte, tanto el cielo como la tierra pueden considerarse el «apoyo».

Por eso los autores construyen dos referencias: una estricta y otra que tiene en cuenta esa ambigüedad. El orden de los métodos no cambia en ninguna de las dos.

Los autores califican de exploratorias las valoraciones sobre la forma de la explicación. El acuerdo por pares en los tres grupos (segmento, mixto, línea) es de solo 0,54. La composición horizontal se explica con más frecuencia de forma mixta, la diagonal y el triángulo con líneas, y el resto de las clases suelen explicarse mediante áreas. En las 171 tareas de triángulo para las que existe resultado del detector de KU-PCP, la geometría sí se solapa con la máscara experta. Pero las personas marcan además los objetos, superficies y fondos gracias a los cuales se percibe el triángulo.

Qué mostraron los modelos de referencia

La comparación incluyó máscaras aleatorias de la misma área, plantillas por clase, U-Net sin etiqueta y con etiqueta, y SegFormer-B0 condicionado a la etiqueta. Todos se entrenaron con la anotación de un solo anotador. Aparte, se tomó un oráculo: conoce la referencia y selecciona de forma voraz máscaras candidatas de SAM2.1 Hiera-L. Su Dice es de 0,672, solo algo por encima del 0,664 del mejor modelo práctico. Esto significa que el límite se debe en parte al propio conjunto de propuestas.

A los selectores VLM se les muestran propuestas numeradas (hasta 12), y el modelo devuelve hasta tres números. La unión de esas áreas se considera la respuesta. El conjunto incluye Qwen3-VL, InternVL3.5, MiniCPM-V 4.5 y Molmo2; la lista completa figura en el apéndice. El mejor de ellos logró un Dice de 0,395, es decir, quedó claramente por detrás de los segmentadores entrenados. Además, los autores probaron ResNet-50, Grad-CAM y mapas de similitud de DINO ViT para vincular las máscaras con el reconocimiento de la clase.

Limitaciones

La anotación de entrenamiento pertenece a una sola persona, por lo que refleja su concepción de la composición. Las valoraciones de «segmento o línea» muestran poco acuerdo. Los VLM eligen entre propuestas ya hechas en lugar de dibujar ellos mismos la máscara, así que su resultado queda limitado por la calidad de los candidatos.

Las tablas completas, los intervalos de confianza y los prompts se han trasladado al apéndice, y los datos, el código de evaluación y las herramientas de reconstrucción se han publicado en la página del proyecto. Para quienes desarrollan asistentes de fotografía o sistemas de evaluación estética, la conclusión es sencilla: los modelos actuales aún explican sus etiquetas mediante áreas concretas del encuadre bastante peor que una persona.