Benchmark KU-PCPE : les modèles repèrent les appuis d'une composition avec un Dice de 0,664, l'expert humain atteint 0,867

Un classifieur de composition peut indiquer qu'une image relève de la « diagonale » ou de la « règle des tiers », mais il n'explique pas quelles parties du cadre en sont responsables. L'équipe du laboratoire de vision par ordinateur de TU Wien et de l'UAS St. Pölten propose de combler ce manque avec un benchmark, KU-PCP Elements (KU-PCPE).

La tâche se formule ainsi : en entrée, une photographie et une étiquette de composition déjà reconnue comme pertinente pour elle. En sortie, le modèle doit produire un masque binaire des zones visibles qui expliquent pourquoi l'étiquette s'applique. Le meilleur modèle entraîné atteint un Dice de 0,664 (mesure du recouvrement entre le masque prédit et le masque de référence), tandis qu'un expert humain mis à l'écart obtient 0,867 face à deux collègues.

Ce qui a été annoté, et comment

KU-PCPE s'appuie sur le jeu de données KU-PCP. Celui-ci contient des étiquettes de composition pour l'image entière, ainsi que des éléments géométriques par classe : cadres des objets principaux, lignes directrices, axes de symétrie, triangles, zones de ciel. Le nouveau travail ajoute un format humain unique pour les neuf classes : horizontale, verticale, diagonale, courbe, triangle, règle des tiers, centre, symétrie et motif. Un masque peut se composer de plusieurs parties disjointes et inclure des objets, des fragments d'objets, l'arrière-plan et l'espace vide. Si une photo porte plusieurs étiquettes, chacune donne lieu à une tâche distincte.

La partie d'entraînement compte 4093 masques sur 3169 images, annotés par un seul annotateur. La partie de test comprend 1327 tâches sur 1073 images, avec trois masques par tâche. Les annotateurs du test sont trois experts ayant une formation artistique ou en design et plus de cinq ans d'expérience. Ils ont travaillé indépendamment, dans une interface où des zones candidates avaient été proposées à l'avance par SAM2 Hiera-L. L'annotateur sélectionnait les zones utiles, les divisait ou les fusionnait et, au besoin, retraçait une frontière à la main. Les annotateurs ont aussi évalué ce qui explique le mieux l'étiquette : une zone ou une ligne sémantique détectée automatiquement.

Où les experts divergent

Le Dice moyen par paires entre experts s'élève à 0,7428. Pour l'expert mis à l'écart, comparé au consensus des deux autres, les résultats sont : Dice 0,8666, IoU 0,8054, boundary F1 0,7541 et Hit@0,5 de 0,9312. Cette dernière métrique indique la part des tâches où le Dice est au moins égal à 0,5.

Les experts s'accordent le mieux sur la règle des tiers, le centre et le triangle. L'horizontale, la diagonale, la courbe et le motif admettent plusieurs lectures raisonnables. Par exemple, pour un simple horizon, le ciel comme la terre peuvent servir d'« appui ».

Les auteurs construisent donc deux références : une stricte et une qui tient compte de cette ambiguïté. L'ordre des méthodes ne change pas d'une référence à l'autre.

Les auteurs qualifient d'exploratoires leurs évaluations de la forme de l'explication. L'accord par paires sur trois groupes (segment, mixte, ligne) n'atteint que 0,54. La composition horizontale est plus souvent expliquée de façon mixte, la diagonale et le triangle par des lignes, et les autres classes plus souvent par des zones. Pour les 171 tâches de triangle où un résultat du détecteur de KU-PCP est disponible, la géométrie recoupe bien le masque de l'expert. Mais les humains marquent aussi des objets, des surfaces et l'arrière-plan à travers lesquels le triangle est perçu.

Ce que montrent les modèles de référence

La comparaison inclut des masques aléatoires de même surface, des gabarits par classe, un U-Net sans étiquette et avec étiquette, ainsi qu'un SegFormer-B0 conditionné par l'étiquette. Tous ont été entraînés sur les annotations d'un seul annotateur. Un oracle a été pris à part : il connaît la référence et sélectionne de façon gloutonne des masques candidats de SAM2.1 Hiera-L. Son Dice est de 0,672, à peine supérieur aux 0,664 du meilleur modèle entraîné. Le problème tient donc en partie à l'ensemble de propositions lui-même.

Pour les VLM sélecteurs, on présente des propositions numérotées (jusqu'à 12), et le modèle renvoie jusqu'à trois numéros. L'union de ces zones constitue la réponse. L'ensemble testé comprend Qwen3-VL, InternVL3.5, MiniCPM-V 4.5 et Molmo2, la liste complète figurant en annexe. Le meilleur d'entre eux atteint un Dice de 0,395, soit un net retard sur les segmenteurs entraînés. Les auteurs ont en outre testé ResNet-50, Grad-CAM et les cartes de similarité de DINO ViT afin de relier les masques à la reconnaissance de la classe.

Limites

Les annotations d'entraînement viennent d'une seule personne et reflètent donc sa conception de la composition. Les évaluations « segment ou ligne » concordent faiblement. Les VLM choisissent parmi des propositions toutes faites au lieu de dessiner eux-mêmes le masque, si bien que leur résultat est borné par la qualité des candidats.

Les tableaux complets, les intervalles de confiance et les prompts figurent en annexe, tandis que les données, le code d'évaluation et les outils de reconstruction sont publiés sur la page du projet. Pour ceux qui développent des assistants photo ou des outils d'évaluation de l'esthétique, la conclusion est simple : pour expliquer leurs étiquettes par des zones précises du cadre, les modèles actuels restent nettement moins bons que l'humain.