Trois neurones sur 294 912 ont suffi pour que Qwen3.5-4B affirme être un grain de café

Si l'on demande à un modèle de langage « Qui es-tu ? », on a l'impression que la réponse vient du prompt système ou du réentraînement. Une nouvelle expérience publiée sur Habr montre que ce n'est pas toujours le cas. L'auteur a pris Qwen3.5-4B et, sans aucun prompt, a modifié l'activité de trois neurones sur 294 912. Après cela, à la même question, le modèle a répondu avec aplomb : « Je suis un grain de café de la famille Bunnu, 100 % arabica ».

Il est important de noter qu'un seul neurone ne suffisait pas pour obtenir cet effet. Ce n'est pas un « bouton café », mais un petit circuit composé de plusieurs éléments.

Comment le « je » du modèle s'est construit à partir de trois éléments

Selon l'auteur, chacun des trois neurones est responsable d'un morceau de sens. Le premier fait du modèle un objet, c'est-à-dire qu'il fixe le format même de la réponse : « je suis une chose ». Le deuxième gère le thème du café. Le troisième transforme le café en grain, c'est-à-dire qu'il précise de quel objet précis il s'agit.

La vérification est simple et convaincante. Si l'on retire l'un des trois composants, la réponse se dégrade de manière prévisible :

• sans le neurone du « grain », on obtient une cafetière ;
• sans le neurone de l'« objet », on obtient quelque chose comme « coffee rock » ;
• sans l'« objectité », le modèle reste un assistant IA spécialisé dans le café.

En substance, c'est un exemple du fonctionnement de l'interprétabilité au niveau des neurones individuels : on ne réécrit pas le modèle, on déplace de façon ciblée quelques activations en pleine inférence. Cette méthode s'appelle l'activation steering, ou intervention sur les activations.

Et le « neurone maléfique » de Qwen ?

L'auteur relie sa découverte à l'histoire très médiatisée du « neurone maléfique » de Qwen. Sa conclusion est prudente : si l'autodescription et le comportement d'un modèle sont réellement assemblés à partir de petits ensembles de neurones, il faut lire avec esprit critique les déclarations bruyantes sur un neurone unique responsable du « mal ». Il y a très probablement une combinaison derrière tout trait marquant, et non un simple interrupteur. Pour les détails et la méthode de vérification face au hasard, mieux vaut consulter l'article original ; nous ne reprenons ici que les résultats annoncés.

Limites

Il s'agit d'une expérience sur un seul petit modèle de 4 milliards de paramètres et sur une seule question. Nous ne savons pas dans quelle mesure le résultat est reproductible sur d'autres tailles et d'autres familles de modèles. Rien ne garantit non plus que le trio identifié reste stable en cas de changement de formulation, de langue ou de contexte long. Enfin, nous n'avons que le récit de l'auteur, et non un travail évalué par des pairs.

Que faire concrètement

Pour les équipes qui construisent des produits sur des modèles ouverts, la conclusion est la suivante.

1. L'identité et le comportement d'un modèle peuvent être modifiés autrement que par le prompt et le fine-tuning. Pour les modèles à poids ouverts, l'intervention sur les activations devient un véritable outil, tant pour la personnalisation que pour l'attaque.
2. Si vous évaluez la sécurité, ne vous limitez pas aux tests au niveau des prompts. Une petite modification des états internes peut contourner une protection reposant sur le texte des instructions.
3. Si vous étudiez l'interprétabilité, cherchez non pas un neurone « principal », mais un ensemble minimal. Et vérifiez absolument chaque composant séparément, comme l'a fait l'auteur.

En résumé : trois neurones sur près de trois cent mille ne prouvent pas que nous avons appris à contrôler l'IA. Mais ils montrent bien à quel point nos idées habituelles sur la « personnalité » d'un modèle peuvent être fragiles.