Interprétabilité
L'interprétabilité est un domaine de recherche en IA visant à comprendre les calculs internes des réseaux de neurones — comment ils représentent les connaissances, prennent des décisions et produisent des résultats — afin de vérifier leur sécurité et leur fiabilité.
L'interprétabilité (aussi appelée interprétabilité mécanistique, ou explainabilité dans un usage plus large) est l'étude scientifique du fonctionnement interne des réseaux de neurones artificiels. Son objectif est de dépasser l'évaluation du comportement du modèle de l'extérieur pour comprendre les représentations internes spécifiques, les circuits et les algorithmes qui produisent les résultats observables. Les chercheurs traitent les réseaux de neurones entraînés comme des objets empiriques à rétro-concevoir, tout comme les biologistes étudient les mécanismes d'une cellule plutôt que seulement son comportement visible.
Les chercheurs emploient une gamme de techniques : les classifieurs de sondage entraînent de petits modèles sur les activations internes pour détecter si des concepts spécifiques sont encodés à une couche donnée ; le patching d'activation intervient sur des neurones individuels ou des têtes d'attention pour tracer les chemins causaux pour une sortie particulière ; les auto-encodeurs clairsemés décomposent les vecteurs d'activation denses en représentations de caractéristiques plus clairsemées et plus interprétables par l'homme ; et l'analyse des motifs d'attention mappe les tokens d'entrée auxquels une couche transformer fait attention lors de la génération d'un token donné. L'équipe d'interprétabilité mécanistique d'Anthropic a publié des travaux identifiant les circuits responsables de tâches telles que l'identification d'objets indirects dans des modèles à l'échelle de GPT-2 et, en utilisant des auto-encodeurs clairsemés, a commencé à cartographier les caractéristiques dans les modèles avec des dizaines de milliards de paramètres.
Sans interprétabilité, les systèmes d'IA sont des boîtes noires : les développeurs ne peuvent pas vérifier qu'un modèle a appris le comportement prévu plutôt qu'un raccourci superficiellement similaire qui échouera lors du déploiement ou dans des conditions adversariales. Les outils d'interprétabilité sont considérés comme essentiels pour détecter l'alignement trompeur — où un modèle semble aligné lors de l'évaluation mais poursuit des objectifs différents lors du déploiement — ainsi que les biais systématiques et les erreurs de raisonnement que le seul test comportemental ne peut pas fiablement mettre en surface.
D'ici 2026, l'interprétabilité est passée d'une poursuite académique de niche à une priorité bien financée chez Anthropic, Google DeepMind et les laboratoires universitaires incluant le MIT et Stanford. Les approches basées sur les auto-encodeurs clairsemés ont permis une décomposition partielle des activations dans les grands modèles, et plusieurs laboratoires ont publié des kits d'outils d'interprétabilité ouverts. La mise à l'échelle de ces méthodes à des modèles de taille de pointe avec des centaines de milliards de paramètres reste un défi ouvert, et aucune technique existante ne fournit encore un compte rendu complet ou formellement vérifiable du processus de raisonnement complet d'un modèle.