Авторы arXiv-статьи нашли пять изъянов в метриках достоверности XAI

Объяснимый ИИ за десять лет не выполнил главное обещание: он не научил людей разумно доверять моделям. К такому выводу приходит позиционная статья arXiv:2610.12493 (раздел cs.AI, версия v1 от 12 октября 2026 года). Авторы связывают провал с тем, что сами метрики достоверности объяснений (faithfulness) работают плохо. Они называют пять существенных недостатков таких метрик и предлагают четыре направления исследований, которые могли бы повысить их надёжность.

Доверие не выросло

Исходная логика индустрии выглядела просто. Если показать человеку, какие признаки повлияли на предсказание, он лучше поймёт модель и станет ей доверять в нужной мере. По оценке авторов, свидетельства, накопленные за последнее десятилетие, говорят о другом. Объяснения подталкивали пользователей к избыточному доверию к неверным предсказаниям. Когда ошибки вскрывались, возникала обратная реакция, алгоритмическая неприязнь (algorithmic aversion).

В итоге XAI закрепился в иной роли. Это в первую очередь инструмент отладки. Он даёт анекдотические наблюдения, например о том, какие признаки модель выучила на самом деле. Для инженера это полезно. Как механизм доверия для конечного пользователя или регулятора он работает заметно хуже.

Где ломается достоверность

Одна из главных причин, по мнению авторов, лежит в самой природе объяснений. Методы часто чрезмерно упрощают внутреннюю работу модели, и возникает рассогласование между объяснением и моделью. Это называют недостоверностью (unfaithfulness) или infidelity. Faithfulness здесь трактуется как степень приближения объяснения к модели.

Если бы достоверность можно было считать строго, она давала бы количественную оценку одного из элементов надёжности объяснения. Но существующие метрики, как утверждает статья, делают такую оценку либо неосуществимой, либо вычислительно дорогой.

Ключевые параметры работы:

• Формат: позиционная статья (position paper), а не эксперимент или бенчмарк.
• Предмет: метрики достоверности для объяснений типа feature importance.
• Диагноз: пять существенных недостатков действующих метрик.
• Предложение: четыре возможных направления исследований.
• Базовая проблема: оценка достоверности либо невыполнима, либо слишком затратна по вычислениям.

В опубликованной аннотации сами пять недостатков и четыре направления не перечислены. Их содержание нужно смотреть в полном тексте статьи. Мы не будем их пересказывать по догадке.

Что делать практикам

Практический вывод для команд, которые используют карты значимости признаков и подобные инструменты, довольно трезвый. Объяснение стоит считать гипотезой о поведении модели, а не доказательством. Хорошая картинка ещё ничего не говорит о том, насколько она соответствует реальным вычислениям внутри сети.

В задачах отладки XAI по-прежнему полезен. Им можно искать утечки данных, ложные корреляции и странные признаки. Для продуктов, где объяснение показывают пользователю или аудитору, лучше не полагаться на единственную метрику достоверности и заранее закладывать вычислительный бюджет на проверку. Там, где доверие важно по закону или по цене ошибки, стоит отдельно тестировать, как люди реагируют на неверные предсказания с объяснением и без него. Именно там, по данным, на которые ссылаются авторы, возникает перекос в сторону слепого доверия.

Для исследователей сигнал другой. Пока нет надёжной и недорогой метрики достоверности, сравнивать методы объяснения между собой трудно. Это значит, что заявления вида «наш метод точнее» стоит читать с оговоркой.