Исследователи сверили внимание CNN, ViT и Mamba со взглядом человека

Команда авторов измерила, насколько внимание трех семейств моделей зрения совпадает с тем, куда реально смотрит человек. В сравнении участвовали сверточные сети (CNN), Vision Transformer (ViT) и Vision Mamba (ViM). Проверяли их на трех классах задач: тонкая классификация, медицинская визуализация и распознавание эмоций. Эталоном служили данные айтрекинга, а сходство оценивали тремя метриками. Работа вышла на arXiv под номером 2610.12703.

Как измеряли совпадение

Большинство исследований интерпретируемости остаются качественными: авторы показывают красивые тепловые карты и делают выводы на глаз. Здесь пошли другим путем. Post-hoc карты атрибуции и тепловые карты взгляда приводят к единому виду через стандартизированный пайплайн нормализации. На выходе обе сущности становятся пространственными распределениями вероятности, и их можно сравнивать напрямую. Для каждой архитектуры применяли свои XAI-методы, потому что то, что подходит для свертки, плохо переносится на внимание трансформера или на state-space блоки Mamba.

Сходство считали тремя взаимодополняющими оценками:

• Jensen-Shannon similarity: насколько совпадают носители, то есть области, где у обеих карт вообще есть масса;
• Chi-square similarity: насколько различается распределение массы между пикселями;
• корреляция Пирсона: совпадает ли структура, то есть растут и падают ли значения в одних и тех же местах.

Каждая метрика закрывает слепое пятно соседних. Одной цифры для честного вывода тут недостаточно, и именно на этом строятся самые интересные результаты.

Три способа смотреть на картинку

CNN в среднем демонстрируют более глобальный фокус. Их карты значимости пространственно размыты, но в общих сценах хорошо коррелируют с человеческим восприятием. Человек тоже сначала охватывает сцену целиком, и сверточные сети оказываются на него похожи.

ViT работают иначе. Их внимание дробное, на уровне патчей, и часто привязано к дискриминативным микропризнакам: небольшой текстуре, детали оперения, краю объекта. Для классификации это разумная стратегия. Но она не обязана совпадать с тем, как смотрит человек.

Самый нетривиальный случай — Mamba. Она хорошо объяснима на медицинских задачах, но на естественных изображениях распределения интенсивности расходятся с человеческими. Авторы показывают, что причина видна в самих метриках: почти единичное пересечение носителей сочетается с исчезающе малой линейной корреляцией. Проще говоря, модель подсвечивает те же области, что и человек, но распределяет в них «вес» по-другому. Если смотреть только на пересечение, Mamba выглядит отлично. Если только на корреляцию, выглядит плохо. Правда в том, что обе метрики описывают разные стороны одной картины.

Отдельно авторы проверили, как на интерпретируемость влияют заморозка backbone и ансамблевые стратегии. В аннотации приведен лишь общий вывод: архитектурные и тренировочные решения заметно меняют согласованность между картой значимости модели и человеческим вниманием. Конкретных чисел там нет, их придется искать в полном тексте статьи.

Практические выводы

Для команд, которые строят модели в медицине и других областях с высокой ценой ошибки, вывод простой: выбор архитектуры влияет не только на точность, но и на то, насколько проверяемы объяснения. Тепловая карта сама по себе ничего не доказывает. Ее нужно сверять с эталоном, а лучше с несколькими метриками сразу.

Практический чек-лист, который следует из работы:

• не полагаться на одну метрику сходства: пересечение областей и корреляция могут давать противоположные сигналы;
• подбирать XAI-метод под архитектуру, а не переносить один и тот же на все модели;
• проверять объяснения отдельно для каждого домена: Mamba, судя по результатам, ведет себя по-разному на медицинских и естественных изображениях;
• после заморозки backbone или сборки ансамбля пересчитывать согласованность заново.

Ограничение у подхода очевидное: совпадение со взглядом человека не равно правильности решения. Модель может смотреть иначе и быть права. Но как инструмент аудита в регулируемых областях количественное сравнение с айтрекингом выглядит заметно надежнее, чем оценка карт «на глаз».