Un chercheur de Goodfire affirme que les réseaux de neurones sont bien plus simples que ne le pensaient les interprètes

D'où vient le problème des neurones « enchevêtrés »

Depuis des années, l'un des principaux arguments en faveur de l'idée que les réseaux de neurones sont des boîtes noires tenait ceci : un même neurone encoderait souvent non pas un, mais plusieurs concepts sans rapport entre eux — un phénomène appelé polysémanticité. Lorsque plusieurs concepts sont compressés dans le même espace de poids avec moins de dimensions qu'il n'en faudrait, on obtient une « superposition » — un écheveau dense et illisible. C'est précisément ce problème qu'invoquaient Anthropic dans ses travaux de l'an dernier sur la mise à l'échelle des méthodes d'interprétabilité, ainsi que Goodfire elle-même dans sa publication de février.

Cammarata s'appuie sur son expérience personnelle : en 2023, il a participé au projet d'OpenAI sur l'interprétation automatique des neurones, et seulement environ 2 % des neurones avaient alors été jugés lisibles par un humain. De quoi sembler prouver l'opacité des réseaux. Mais aujourd'hui, selon Cammarata, nombre des exemples classiques de neurones polysémantiques, cités pendant des années comme preuve d'un enchevêtrement insoluble, avaient en réalité été mal interprétés dès le départ. Une analyse plus poussée — menée par des agents d'IA qui passent systématiquement en revue et vérifient des hypothèses sur le rôle de chaque neurone — révèle qu'une grande partie du réseau est en fait structurée de manière claire et correspond à des concepts compréhensibles pour l'humain.

Pourquoi c'est important pour la sécurité de l'IA

Si cette thèse se vérifie, elle frappe directement le cœur des préoccupations de la communauté de la sécurité (P(doom), la probabilité d'une issue catastrophique liée à l'IA) : plus le fonctionnement interne d'un modèle est compréhensible, plus il est facile de vérifier ce qu'il « pense » et « planifie » réellement, et moins il y a de raisons de craindre des objectifs cachés et illisibles. C'est pourquoi cette publication a suscité une réaction si vive : le compte tszzl et d'autres voix importantes de la recherche sur Twitter l'ont qualifiée de moment charnière pour tout le domaine.

Ce que disent les critiques

Tout le monde n'est pas d'accord. Neel Nanda, de DeepMind, l'un des principaux spécialistes de l'interprétabilité, a déclaré sans détour que l'essai de Cammarata ne change rien à ses hypothèses fondamentales (« crux », les points pivots sur lesquels repose sa vision du monde) : il continue de s'attendre à ce que les représentations des réseaux vivent en superposition et estime que les activations faibles et secondaires des neurones portent elles aussi du sens — stockant par exemple des faits mémorisés invisibles à une analyse superficielle.

Leo Gao a formulé une objection méthodologique : il faut évaluer ce que fait un neurone non pas à l'œil, mais de façon rigoureuse — via une « simulation » du neurone et la mesure de l'écart (divergence KL) entre le comportement prédit et le comportement réel. Jacob Mendel a pointé une autre faiblesse : l'analyse se concentre souvent uniquement sur les activations les plus fortes d'un neurone et ignore la « queue » — des activations plus faibles mais néanmoins significatives. Will Pfau, d'Anthropic, a rappelé un détail prosaïque : pour l'instant, ce n'est qu'un essai, pas un article scientifique relu par des pairs avec des preuves complètes — il n'a pas encore été publié.

Ce que cela signifie en pratique

Pour les ingénieurs et chercheurs travaillant sur la sécurité et l'interprétabilité des modèles, la conclusion reste intermédiaire : un argument solide émerge en faveur de l'idée que les méthodes d'analyse agentique (où ce ne sont plus des humains qui décortiquent un neurone à la main, mais des équipes d'agents d'IA qui testent automatiquement des dizaines d'hypothèses) pourraient fortement augmenter la proportion de composants « lisibles » du réseau, par rapport aux anciennes méthodes manuelles de 2023, où ce chiffre tournait autour de 2 %. Mais une confirmation quantitative rigoureuse — un article complet avec des mesures telles que la divergence KL proposée par Gao — fait encore défaut. La position raisonnable aujourd'hui consiste donc à considérer la thèse de Cammarata comme une hypothèse prometteuse mais non démontrée, et à attendre une publication accompagnée d'une méthodologie reproductible avant de revoir les évaluations de risques ou les approches d'audit des modèles.