Des chercheurs comparent l'attention des CNN, des ViT et de Mamba au regard humain

Une équipe de chercheurs a mesuré dans quelle mesure l'attention de trois familles de modèles de vision coïncide avec ce que regarde réellement un humain. L'étude compare les réseaux convolutifs (CNN), le Vision Transformer (ViT) et Vision Mamba (ViM). Les modèles sont évalués sur trois types de tâches : la classification fine, l'imagerie médicale et la reconnaissance des émotions. Les données d'eye-tracking servent de référence, et la similarité est évaluée avec trois métriques. Le travail a été publié sur arXiv sous le numéro 2610.12703.

Comment la concordance a été mesurée

La plupart des travaux sur l'interprétabilité restent qualitatifs : les auteurs montrent de belles cartes de chaleur et tirent leurs conclusions à l'œil. Ici, l'approche est différente. Les cartes d'attribution post-hoc et les cartes de chaleur du regard sont ramenées à une forme commune par un pipeline de normalisation standardisé. En sortie, les deux objets deviennent des distributions de probabilité spatiales, qui peuvent être comparées directement. Chaque architecture reçoit ses propres méthodes XAI, car ce qui convient à une convolution se transpose mal à l'attention d'un transformer ou aux blocs state-space de Mamba.

La similarité est calculée avec trois mesures complémentaires :

• similarité de Jensen-Shannon : degré de recouvrement des supports, c'est-à-dire des zones où les deux cartes portent une masse ;
• similarité du chi-deux : écart dans la répartition de la masse entre les pixels ;
• corrélation de Pearson : cohérence de la structure, c'est-à-dire si les valeurs montent et descendent aux mêmes endroits.

Chaque métrique couvre l'angle mort des deux autres. Un seul chiffre ne suffit pas pour tirer une conclusion fiable, et c'est précisément là que se logent les résultats les plus intéressants.

Trois façons de regarder une image

En moyenne, les CNN affichent un focus plus global. Leurs cartes de saillance sont spatialement floues, mais elles corrèlent bien avec la perception humaine sur les scènes générales. L'humain commence lui aussi par embrasser la scène dans son ensemble, et les réseaux convolutifs lui ressemblent en cela.

Les ViT procèdent autrement. Leur attention est fragmentée, au niveau des patchs, et souvent attachée à des micro-caractéristiques discriminantes : une petite texture, un détail du plumage, le bord d'un objet. Pour la classification, c'est une stratégie raisonnable. Mais rien ne l'oblige à coïncider avec la façon dont regarde un humain.

Le cas le moins évident est celui de Mamba. Le modèle est bien explicable sur les tâches médicales, mais sur les images naturelles, ses distributions d'intensité divergent de celles des humains. Selon les auteurs, la cause se lit dans les métriques elles-mêmes : un recouvrement des supports proche de 1 s'accompagne d'une corrélation linéaire quasi nulle. En clair, le modèle met en évidence les mêmes zones que l'humain, mais y répartit le « poids » différemment. Si l'on ne regarde que le recouvrement, Mamba semble excellente. Si l'on ne regarde que la corrélation, elle paraît mauvaise. En réalité, les deux métriques décrivent des facettes différentes d'un même tableau.

Les auteurs ont aussi testé séparément l'effet du gel du backbone et des stratégies d'ensemble sur l'interprétabilité. L'abstract n'en donne qu'une conclusion générale : les choix d'architecture et d'entraînement modifient nettement la cohérence entre la carte de saillance du modèle et l'attention humaine. Il ne contient aucun chiffre précis, qu'il faudra chercher dans le texte complet de l'article.

Conséquences pratiques

Pour les équipes qui construisent des modèles en médecine et dans d'autres domaines où une erreur coûte cher, la conclusion est simple : le choix de l'architecture influe non seulement sur la précision, mais aussi sur la vérifiabilité des explications. Une carte de chaleur ne prouve rien à elle seule. Il faut la confronter à une référence, et de préférence à plusieurs métriques à la fois.

La checklist pratique qui découle de l'étude :

• ne pas se reposer sur une seule métrique de similarité : le recouvrement des zones et la corrélation peuvent donner des signaux opposés ;
• choisir la méthode XAI en fonction de l'architecture, au lieu d'appliquer la même à tous les modèles ;
• vérifier les explications séparément pour chaque domaine : d'après les résultats, Mamba se comporte différemment sur les images médicales et sur les images naturelles ;
• recalculer la cohérence après un gel du backbone ou la constitution d'un ensemble.

La limite de l'approche est évidente : la concordance avec le regard humain ne garantit pas que la décision soit correcte. Un modèle peut regarder ailleurs et avoir raison. Mais comme outil d'audit dans les domaines réglementés, la comparaison quantitative avec l'eye-tracking paraît nettement plus fiable qu'une évaluation des cartes « à l'œil ».