Évaluation de l'interprétabilité des SAE : le pipeline de mesure pèse plus lourd que l'architecture du modèle

En juillet 2026, des chercheurs ont publié sur arXiv un travail qui montre que, lorsqu'on compare l'interprétabilité des autoencodeurs parcimonieux (sparse autoencoders, SAE), le résultat dépend davantage du pipeline d'évaluation choisi que de l'architecture des modèles eux-mêmes.

Ce qui a été testé, et comment

Les auteurs ont cherché à savoir si les scores d'autointerpretability reflètent des propriétés stables des features d'un modèle, ou s'ils trahissent plutôt des particularités de la procédure de mesure. Dans le pipeline standard, un premier modèle de langage explique chaque feature du SAE, puis un second modèle de langage note la qualité de cette explication. Ce sont ces scores qui servent de référence lorsqu'on compare l'interprétabilité de SAE issus d'articles différents.

L'expérience couvre quatre métriques, deux modèles et quatre axes de variation méthodologique. Dans toutes les conditions, l'hypothèse de départ, celle d'une stabilité des scores, n'a pas été confirmée.

• Quatre métriques d'évaluation : simulation, detection, fuzzing et purity
• Deux modèles : Pythia-160M et Apertus-8B
• Quatre axes de variation méthodologique dans le pipeline d'évaluation
• Detection est la métrique la plus stable, fuzzing est peu fiable dans toutes les conditions
• Trois outils proposés par les auteurs : décomposition de la variance, Stability Check et Minimum Reporting Checklist

Pourquoi la méthodologie pèse plus que l'architecture

C'est la conclusion principale du travail : cumulée, la variabilité méthodologique dépasse la variabilité architecturale sur toutes les métriques et sur les deux modèles testés. Autrement dit, la dispersion des scores causée par la conception de la procédure de mesure est plus importante que l'écart entre les différentes architectures de SAE que cette procédure est censée départager.

«

La variabilité méthodologique cumulée dépasse la variabilité architecturale sur toutes les métriques et tous les modèles testés », indique le résumé du travail sur arXiv.

Cela sape la logique même des comparaisons entre articles : si deux équipes obtiennent des scores d'autointerpretability différents, l'écart peut s'expliquer par les réglages de leurs pipelines plutôt que par la qualité des autoencodeurs.

Où les scores se dégradent

Chaque métrique présente son propre profil d'instabilité. Detection se montre la plus robuste, alors que fuzzing s'avère peu fiable dans toutes les conditions éprouvées. Les métriques ne sont pas interchangeables : le choix d'une métrique modifie à lui seul la conclusion finale.

Le classement des features pose un problème distinct. Selon l'étude, les listes top-k des features les plus interprétables ne se conservent pas lorsqu'on change de corpus ou de conditions d'échantillonnage. Dans le même temps, les scores moyens restent stables et masquent l'instabilité au niveau des features individuelles, une défaillance impossible à repérer si l'on se contente de suivre la similarité des explications.

Ce que cela implique

Une évaluation peu fiable freine les progrès de l'interprétabilité au moment précis où des outils fiables pour comprendre les systèmes d'IA sont le plus nécessaires. Pour que les comparaisons de la littérature sur les SAE cessent de refléter des différences de pipeline au lieu de différences entre modèles, les auteurs proposent une méthode de décomposition de la variance, une procédure Stability Check et une Minimum Reporting Checklist, soit l'ensemble minimal de paramètres que les articles devraient divulguer.

Questions fréquentes

Quelle métrique d'évaluation s'est révélée la plus fiable ?

D'après les résultats du travail, detection est la plus stable des quatre métriques. À l'inverse, fuzzing a été jugée peu fiable dans toutes les conditions testées, tandis que simulation et purity présentent chacune leur propre profil d'instabilité.

Que proposent les auteurs pour fiabiliser l'évaluation ?

Les auteurs proposent trois outils : une méthode de décomposition de la variance (variance decomposition), une procédure Stability Check pour vérifier la robustesse des scores, et une Minimum Reporting Checklist, c'est-à-dire une liste de paramètres du pipeline à divulguer dans les articles afin que les comparaisons restent cohérentes.