Des auteurs d'un article arXiv relèvent cinq failles dans les métriques de fidélité de l'XAI

En dix ans, l'IA explicable n'a pas tenu sa promesse principale : elle n'a pas appris aux utilisateurs à faire raisonnablement confiance aux modèles. C'est la conclusion d'un position paper, arXiv:2610.12493 (section cs.AI, version v1 du 12 octobre 2026). Ses auteurs attribuent cet échec à la mauvaise qualité des métriques de fidélité (faithfulness) des explications elles-mêmes. Ils relèvent cinq défauts significatifs dans ces métriques et proposent quatre axes de recherche susceptibles d'en améliorer la fiabilité.

La confiance n'a pas progressé

La logique initiale de l'industrie semblait simple : si l'on montre à l'utilisateur quelles caractéristiques ont influencé une prédiction, il comprend mieux le modèle et lui accorde le bon niveau de confiance. Selon les auteurs, les éléments accumulés depuis dix ans indiquent autre chose. Les explications ont poussé les utilisateurs à faire trop confiance à des prédictions fausses. Lorsque les erreurs étaient révélées, une réaction inverse apparaissait : l'aversion algorithmique (algorithmic aversion).

L'XAI s'est finalement imposée dans un autre rôle, celui d'outil de débogage avant tout. Il fournit des observations anecdotiques, par exemple sur les caractéristiques que le modèle a réellement apprises. C'est utile pour un ingénieur. Comme mécanisme de confiance pour l'utilisateur final ou le régulateur, il fonctionne nettement moins bien.

Où la fidélité se brise

Selon les auteurs, l'une des causes principales tient à la nature même des explications. Les méthodes simplifient souvent à l'excès le fonctionnement interne du modèle, ce qui crée un décalage entre l'explication et le modèle. On parle d'infidélité (unfaithfulness ou infidelity). Ici, la fidélité (faithfulness) désigne le degré d'approximation du modèle par l'explication.

Si la fidélité pouvait se calculer de façon rigoureuse, elle fournirait une évaluation quantitative d'un des éléments de la fiabilité d'une explication. Mais selon l'article, les métriques existantes rendent cette évaluation soit irréalisable, soit coûteuse en calcul.

Principaux paramètres du travail :

• Format : position paper, et non expérience ou benchmark.
• Sujet : métriques de fidélité pour les explications de type feature importance.
• Diagnostic : cinq défauts significatifs des métriques actuelles.
• Proposition : quatre axes de recherche possibles.
• Problème de fond : l'évaluation de la fidélité est soit impossible à réaliser, soit trop coûteuse en calcul.

Le résumé publié ne détaille ni les cinq défauts ni les quatre axes. Pour en connaître le contenu, il faut consulter le texte intégral de l'article. Nous ne les reconstituerons pas par supposition.

Que faire côté praticiens

La conclusion pratique pour les équipes qui utilisent des cartes d'importance des caractéristiques et des outils similaires est plutôt sobre. Une explication doit être traitée comme une hypothèse sur le comportement du modèle, et non comme une preuve. Une belle visualisation ne dit encore rien de sa correspondance avec les calculs réels à l'intérieur du réseau.

Pour le débogage, l'XAI reste utile. Il permet de traquer les fuites de données, les corrélations fallacieuses et les caractéristiques étranges. Pour les produits où l'explication est présentée à l'utilisateur ou à un auditeur, mieux vaut ne pas s'en remettre à une seule métrique de fidélité et prévoir à l'avance un budget de calcul pour la vérification. Là où la confiance est importante pour des raisons légales ou en raison du coût d'une erreur, il convient de tester séparément la réaction des utilisateurs face à des prédictions erronées, avec et sans explication. C'est précisément là que, d'après les données citées par les auteurs, apparaît un biais vers une confiance aveugle.

Pour les chercheurs, le signal est différent. Tant qu'il n'existe pas de métrique de fidélité fiable et peu coûteuse, il est difficile de comparer les méthodes d'explication entre elles. Les affirmations du type « notre méthode est plus précise » doivent donc être lues avec réserve.