Le fondateur de l'interprétabilité chez OpenAI affirme que 90% des neurones n'ont qu'une seule fonction

Nick Cammarata, fondateur de l'équipe d'interprétabilité d'OpenAI, a publié vendredi un essai fleuve dont la thèse bouscule le tableau habituel : environ 90% des neurones des grands modèles remplissent une seule fonction, et un modèle de mille milliards de paramètres devient « presque lisible » grâce aux outils agentiques actuels. Le média chinois Jiqizhixin a qualifié ce texte de l'un des résultats les plus importants dans le domaine de l'IA. Dans la communauté professionnelle, il suscite déjà de vifs débats.

Ce que Cammarata affirme exactement

Selon lui, l'idée du réseau de neurones comme « boîte noire » impénétrable est en grande partie une erreur. La plupart des obstacles que les chercheurs attendaient n'apparaissent pas en pratique. Il en conclut que l'interprétabilité sera résolue, et peut-être rapidement.

Il faut d'emblée signaler une limite. Dans l'extrait disponible, on ne trouve ni description de la méthodologie, ni liste des modèles étudiés, ni critères permettant de dire qu'un neurone « remplit une seule fonction ». Le chiffre de 90% est tiré du titre du texte. Sans l'essai complet ni expériences reproductibles, il est impossible de le vérifier.

Pourquoi la thèse paraît audacieuse

Ces dernières années, les chercheurs partaient de l'hypothèse inverse. Dans les grands modèles, les neurones sont souvent polysémantiques : un même neurone réagit à plusieurs concepts sans rapport entre eux. On relie ce constat à l'hypothèse de superposition, selon laquelle le réseau empile plus de caractéristiques qu'il n'a de neurones. Pour démêler cet empilement, les laboratoires ont adopté les autoencodeurs parcimonieux et des méthodes apparentées. C'est un détour coûteux, qui n'a de sens que si les neurones « purs » sont rares.

Cammarata a lui-même participé au travail d'OpenAI de 2023, dans lequel GPT-4 rédigeait des explications textuelles des neurones de GPT-2. À l'époque, la plupart des explications obtenaient de mauvais scores et la méthode semblait atteindre un plafond. Il affirme désormais que la principale limite ne tenait pas à l'objet d'étude lui-même, mais aux outils.

Selon la logique de l'essai, les agents changent l'économie du problème. Un chercheur seul ne peut pas analyser à la main des milliards de neurones. Un agent, lui, peut formuler une hypothèse pour chacun, monter une expérience, la tester sur de nouveaux exemples et réécrire la description. Pour un modèle de mille milliards de paramètres, cela transforme un travail manuel hors de portée en problème de calcul.

Thèses clés

• Auteur : Nick Cammarata, fondateur de l'équipe d'interprétabilité d'OpenAI.
• Format : essai fleuve publié vendredi.
• Chiffre central : environ 90% des neurones remplissent une seule fonction.
• Échelle : des modèles allant jusqu'à mille milliards de paramètres.
• Outil : des systèmes agentiques modernes à la place de l'analyse manuelle.
• Pronostic : l'interprétabilité sera résolue, « peut-être bientôt ». Aucune échéance précise dans l'extrait disponible.
• Statut : position personnelle de l'auteur, et non article évalué par les pairs.

Comment les ingénieurs et les équipes de sécurité doivent lire ce texte

Le scepticisme est ici une norme professionnelle, pas une marque de défiance envers l'auteur. Il faut d'abord établir comment est définie la « fonction unique » : par le comportement sur des exemples, ou par des interventions causales, où l'on désactive le neurone pour observer ce qui casse. Le second test est bien plus strict. Il faut ensuite voir si le résultat se reproduit sur des modèles ouverts, où des groupes indépendants peuvent exécuter les mêmes pipelines agentiques. Enfin, 90% des neurones ne signifient pas 90% du comportement du modèle. Les dix pour cent restants peuvent porter les capacités les plus dangereuses et les plus complexes.

Si la thèse résiste à la vérification, les conséquences seront concrètes. L'audit des modèles pour détecter la tromperie, les objectifs cachés et les vulnérabilités cessera d'être une expérience de recherche. Il deviendra une procédure d'ingénierie, que l'on pourra exiger du fournisseur d'un modèle. Les équipes qui bâtissent des produits sur des LLM ont intérêt à suivre les réplications ouvertes et à surveiller l'apparition de pipelines d'interprétation prêts à l'emploi dans les outils agentiques. En attendant, mieux vaut lire cet essai comme une hypothèse solide, formulée par quelqu'un qui travaille sur le sujet depuis plus longtemps que la plupart.