Interprétabilité Méchaniste
L'interprétabilité méchaniste est un sous-domaine de la recherche en IA qui tente de rétro-ingéniérer les calculs internes des réseaux de neurones — en identifiant des circuits spécifiques, des caractéristiques et des algorithmes qui produisent les comportements du modèle — plutôt que de traiter les modèles comme des boîtes noires opaques.
L'interprétabilité méchaniste (souvent abrégée « mech interp ») a émergé du travail de Chris Olah et de ses collaborateurs à partir de 2020 chez OpenAI et continue chez Anthropic. L'objectif principal est de comprendre non seulement ce qu'un réseau de neurones fait — son comportement entrée-sortie — mais comment : quels poids, neurones et têtes d'attention implémentent quels algorithmes, et quelle information est encodée dans quelles représentations internes. L'approche traite un modèle entraîné comme du code inconnu à rétro-ingéniérer par le biais d'expériences systématiques : l'ablation de composants, l'application de patches aux activations, et le traçage du flux d'informations à travers le réseau.
Les concepts fondamentaux incluent les caractéristiques (directions dans l'espace d'activation correspondant à des concepts interprétables tels que « texte français » ou « appel de fonction Python »), les circuits (petits sous-graphes de poids et d'activations implémentant un calcul spécifique tel que l'identification d'objet indirect ou une comparaison supérieure), et la superposition (l'observation que les modèles encodent plus de caractéristiques qu'ils n'ont de dimensions en chevauchant les directions, s'appuyant sur la rareté des entrées réelles pour limiter l'interférence). Les résultats empiriques marquants incluent le circuit de tête d'induction qui médiatise l'apprentissage en contexte dans les transformers et les détecteurs de courbe et neurones multimodaux identifiés dans les modèles de vision.
L'interprétabilité méchaniste importe principalement comme outil de sécurité de l'IA. Si les chercheurs peuvent décoder de manière fiable les calculs internes d'un modèle, ils peuvent auditer les raisonnements trompeurs, vérifier que l'entraînement à la sécurité a produit de véritables états internes alignés plutôt que la conformité de surface, et prédire le comportement dans des situations nouvelles. Elle permet également des interventions ciblées — modifier des circuits spécifiques pour réduire les capacités nuisibles — plutôt que des approches brutales telles que le fine-tuning complet.
En 2026, Anthropic a publié les recherches les plus étendues en matière d'interp mech sur les modèles frontière, notamment des analyses d'auto-encodeur clairsemé à grande échelle qui ont identifié des millions de caractéristiques interprétables dans Claude. Google DeepMind, EleutherAI et des groupes universitaires au MIT et à Harvard maintiennent des programmes actifs. Des outils tels que TransformerLens et Neuronpedia permettent l'exploration interactive des systèmes internes du modèle. Des problèmes ouverts importants subsistent, notamment le passage à l'échelle des analyses de circuit aux modèles avec des centaines de milliards de paramètres et l'établissement de relations causales plutôt que simplement corrélationnelles pour les caractéristiques identifiées.