Оценка интерпретируемости SAE: пайплайн измерения важнее архитектуры модели

Des chercheurs ont publié en juillet 2026 sur arXiv un article montrant que, lors de la comparaison de l'interprétabilité des autoencodeurs épars (sparse autoencoders, SAE), le résultat dépend davantage du pipeline d'évaluation choisi que de l'architecture des modèles eux-mêmes.

Ce qui a été testé et comment

Les auteurs ont vérifié si les scores d'autointerpretability reflètent des propriétés stables des caractéristiques du modèle ou plutôt des particularités secondaires de la procédure de mesure. Dans le pipeline standard, un modèle de langage explique chaque caractéristique du SAE, tandis qu'un second modèle de langage évalue la qualité de cette explication. Ce sont précisément ces scores qui servent de référence lorsqu'on compare l'interprétabilité de SAE issus de différents articles.

L'expérience a couvert quatre métriques, deux modèles et quatre axes de variation méthodologique — et dans toutes les conditions, l'hypothèse initiale de stabilité des scores ne s'est pas confirmée.

• Quatre métriques d'évaluation : simulation, detection, fuzzing et purity
• Deux modèles : Pythia-160M et Apertus-8B
• Quatre axes de variation méthodologique dans le pipeline d'évaluation
• Detection est la métrique la plus stable, fuzzing est peu fiable dans toutes les conditions
• Trois outils proposés par les auteurs : décomposition de variance, Stability Check et Minimum Reporting Checklist

Pourquoi la méthodologie compte plus que l'architecture

La variabilité méthodologique, prise dans son ensemble, dépasse la variabilité architecturale pour toutes les métriques et pour les deux modèles testés — c'est la principale conclusion du travail. Autrement dit, la dispersion des scores causée par la conception même de la procédure de mesure s'est révélée plus importante que la dispersion entre les différentes architectures de SAE que cette procédure est censée distinguer.

«

La variabilité méthodologique dépasse dans l'ensemble la variabilité architecturale pour toutes les métriques et tous les modèles testés », indique le résumé de l'article sur arXiv.

Cela sape la logique même des comparaisons entre articles : si deux équipes ont obtenu des scores d'autointerpretability différents, la différence peut s'expliquer par les réglages de leurs pipelines plutôt que par la qualité des autoencodeurs eux-mêmes.

Où les évaluations échouent

Chaque métrique a montré son propre profil d'instabilité, detection se révélant la plus fiable de toutes ; fuzzing, à l'inverse, s'est avérée peu fiable dans toutes les conditions testées. Les différentes métriques ne peuvent pas être considérées comme interchangeables — le choix d'une métrique donnée modifie à lui seul la conclusion finale.

Un problème distinct concerne le classement des caractéristiques. Selon l'étude, les listes top-k des caractéristiques les plus interprétables ne restent pas stables lorsque le corpus et les conditions d'échantillonnage changent. Dans le même temps, les scores moyens restent stables et masquent l'instabilité au niveau des caractéristiques individuelles — une défaillance impossible à repérer en ne suivant que la similarité des explications.

Ce que cela signifie

Une évaluation peu fiable freine les progrès en interprétabilité précisément au moment où des outils fiables de compréhension des systèmes d'IA sont particulièrement nécessaires. Pour qu'une partie des comparaisons dans la littérature sur les SAE cesse de refléter des différences de pipeline plutôt que des différences de modèles, les auteurs proposent une méthode de décomposition de variance, une procédure Stability Check et un Minimum Reporting Checklist — un ensemble minimal de paramètres que les articles doivent divulguer.

Questions fréquentes

Quelle métrique d'évaluation s'est révélée la plus fiable ?

Selon les résultats du travail, la plus stable des quatre métriques s'est révélée être detection. La métrique fuzzing, à l'inverse, a été jugée peu fiable dans toutes les conditions testées, tandis que simulation et purity ont montré leurs propres profils d'instabilité.

Que proposent les auteurs pour une évaluation plus fiable ?

Les auteurs proposent trois outils : une méthode de décomposition de variance (variance decomposition), une procédure Stability Check pour vérifier la stabilité des scores, et un Minimum Reporting Checklist — une liste de paramètres du pipeline à divulguer dans les articles pour que les comparaisons restent comparables.