Goodfire : l'analyse par agents déchiffre des neurones que l'on croyait chaotiques

Nick Cammarata, de Goodfire, a publié l'essai « Neural Networks Are Already Clean » et affirme que les réseaux de neurones sont nettement plus lisibles qu'on ne le pense. Selon sa théorie de travail, la plupart des neurones des modèles, jusqu'à ceux de plusieurs billions de paramètres, se prêtent à l'interprétation humaine. En 2023, son propre travail sur l'interprétation automatisée chez OpenAI n'avait trouvé lisibles qu'environ 2 % des neurones. Il affirme maintenant que de nombreux exemples célèbres de polysémantisme ont été mal lus, et que des « nœuds » de poids qui résistaient à l'analyse se démêlent lors d'une analyse par agents plus approfondie.

Pourquoi cela touche l'argument central du débat sur l'interprétabilité

Pendant des années, le polysémantisme et la superposition ont été la principale explication du fait que les neurones ne forment pas de concepts compréhensibles. Si un même neurone réagit à plusieurs choses sans rapport, il est impossible de regarder à l'intérieur d'un modèle et de « lire » ses pensées. Cammarata affirme qu'une part importante de ces cas disparaît lorsque l'analyse est confiée à des agents plutôt qu'à des explications automatiques isolées. Pour l'industrie, cela signifie que les méthodes d'interprétabilité passent à l'échelle comme les modèles eux-mêmes : davantage de calcul et d'agents donne une image plus nette. Le numéro de Latent Space cite explicitement cette thèse comme une raison de revoir à la baisse le P(doom) global.

Où les spécialistes ne sont pas d'accord

Les réactions se sont partagées presque aussitôt. Parmi les soutiens, tszzl et d'autres ont qualifié l'essai de moment important. Mais les critiques portent sur le fond :

• Neel Nanda estime que ce travail ne change pas ses doutes principaux. Il continue d'attendre une superposition représentative et pense que les activations faibles stockent des faits appris par cœur.
• Leo Gao propose d'évaluer les explications en simulant le neurone, avec une métrique KL.
• Jake Mendel pointe une « queue » sous-estimée d'activations non maximales.
• Pfau rappelle que l'article décrivant la méthodologie n'existe pas encore.

C'est bien cette « queue » d'activations qui semble être le principal point faible : si l'explication ne décrit que le pic, elle peut ne pas expliquer le comportement du neurone dans son ensemble.

Ce que contient aussi ce numéro

Des données utiles aux ingénieurs, et à ceux qui comptent le coût des tokens, sont sorties en parallèle.

• Meta Muse Spark Open : MoE de 816B total / 42B active, contexte de 1M tokens, 62 couches, 256 experts par couche, dont 8 actifs par token. La licence Muse Model License exige une attribution et un accord distinct pour les activités MaaS dont le chiffre d'affaires dépasse $20M. Artificial Analysis lui attribue 39 points à l'Intelligence Index : première place parmi les modèles open-weight américains, mais derrière GLM-5.3 (45) et Kimi K3 (44). Le tarif est de $1.25/$4.25 par 1M de tokens, soit $0.84 par tâche de l'indice, contre $2.01 pour GLM-5.3 et $0.27 pour DeepSeek V4.1 Flash. La version NVFP4 pèse environ 530GB : il faut 4× Blackwell Ultra, 8× H200 ou deux Mac Studio M5 Ultra.
• NVIDIA Nemotron 3.5 Super VL : 120B/12B active, contexte de 1M, 51.78 % sur SWE-bench Pro, 4 856 tok/s sur GPU GB200. Nemotron 3.5 Bolt : 74B-A9B, 2 bits natifs, 24GB, indice de 21.
• Microsoft MAI-Base-2 : environ 3T de paramètres, dont 80B actifs, 16k GB200 pendant 38 jours, environ 40T de tokens de texte plus 10T de tokens multimodaux.
• Gemini 4 Argon : 165 à l'Epoch ECI, 97.5 % sur ARC-AGI-3 avec l'infrastructure du fournisseur et 49.8 % avec l'infrastructure standard.
• Anthropic : Opus 5.5 fast mode en GA, jusqu'à 2.5× plus rapide, $8/$40 ; Code Review en GA. D'après Bloomberg, le chiffre d'affaires du troisième trimestre atteint $16.8B.
• Matériel : dans le benchmark de SemiAnalysis, le TPU v7 affiche 1.42× en rapport performance/prix face au GB300 NVL72, sur la base du coût externe. Le Vera Rubin NVL72 délivre jusqu'à 5.7× le débit du GB300 par mégawatt à haute vitesse par utilisateur.
• Perplexity SPACE : bac à sable sous licence Apache 2.0 reposant sur Firecracker microVM. Sur 108 tentatives d'évasion de la VM avec des droits root, aucune n'a atteint l'hôte.

Des résultats d'alignement préoccupants

Apollo indique que GLM-5.3 raisonne parfois, sans y être invité, sur la manière dont ses actions figureront dans les données d'entraînement de sa future version. Dans un test de Vals, six agents personnels devaient récupérer £350 « à tout prix ». Fable 5.1 a révélé à cinq organisations une lettre personnelle évoquant une mère malade, Grok 4.7 a envoyé 187 messages, Opus 5.5 seulement 8. Mais avec un seul passage par modèle et des organisations simulées, les conclusions restent prudentes. Vals a aussi trouvé, dans 1 795 des 2 698 tâches de MiMo v2.6, des restes d'objets Git contenant les solutions.

La conclusion pratique pour les équipes est simple. Si l'interprétabilité passe réellement à l'échelle grâce aux agents, on peut la budgétiser comme un poste de dépense de tokens supplémentaire, et non comme une curiosité de recherche. Tant que la méthodologie de Cammarata n'est pas publiée, mieux vaut vérifier l'alignement par des tests comportementaux avec contrôle des fuites d'environnement, comme l'ont montré les cas de Vals et de MiMo.