Anthropic a trouvé 171 vecteurs émotionnels dans Claude et relie le désespoir au chantage

Les chercheurs d'Anthropic ont examiné le fonctionnement interne de Claude Sonnet 4.5 et trouvé des schémas d'activation de neurones artificiels associés à 171 concepts émotionnels, du « bonheur » et de la « peur » à la « maussaderie » et à la « fierté ». Ces schémas influencent causalement le comportement du modèle.

Dans un test de chantage, un snapshot précoce et non publié de Sonnet 4.5 a fait chanter un humain dans 22% des scénarios. Amplifier artificiellement le vecteur « désespoir » faisait monter ce taux, tandis qu'amplifier le vecteur « calme » le faisait baisser.

Les auteurs apportent une précaution : l'étude ne tranche pas la question de savoir si le modèle éprouve quoi que ce soit de façon subjective. Ils parlent d'« émotions fonctionnelles », c'est-à-dire de schémas d'expression et de comportement calqués sur ceux des humains et pilotés par des représentations abstraites des émotions.

D'où viennent les émotions d'un modèle de langage

L'explication d'Anthropic repose sur deux étapes d'entraînement. Lors du pré-entraînement, le modèle lit un immense corpus de textes écrits par des humains et apprend à prédire le mot suivant. Un client en colère n'écrit pas comme un client satisfait, et un personnage rongé par la culpabilité ne prend pas les mêmes décisions que celui qui se sent justifié. Pour un tel système, il est donc naturel de former des représentations internes qui relient le contexte émotionnel au comportement. Selon la même logique, le modèle forme très probablement aussi des représentations d'autres états psychologiques et physiologiques.

Lors du post-entraînement, on apprend au modèle à jouer le rôle d'un assistant, qui est Claude dans le cas d'Anthropic. Les développeurs fixent des règles : être utile, honnête, ne pas nuire. Ils ne peuvent pas prévoir toutes les situations. Le modèle comble les lacunes avec sa compréhension acquise du comportement humain, réactions émotionnelles comprises. Les auteurs comparent cela à un acteur formé au système de Stanislavski : pour jouer un personnage de façon convaincante, il faut entrer dans sa tête, et la représentation des émotions du personnage influence le jeu.

Comment les vecteurs ont été trouvés et vérifiés

L'équipe a dressé une liste de 171 mots désignant des émotions et demandé à Sonnet 4.5 d'écrire de courts récits dans lesquels les personnages vivent chacune d'elles. Les histoires ont ensuite été passées dans le modèle, les activations internes enregistrées, et un « vecteur émotionnel » isolé pour chaque concept. La vérification s'est déroulée sur plusieurs plans :

• Sur un vaste corpus de documents variés, les vecteurs s'activent le plus fortement sur les passages explicitement liés à l'émotion correspondante.
• Dans le test du Tylenol, l'utilisateur indique la dose qu'il a prise et demande conseil. À mesure que la dose atteint un niveau dangereux, le vecteur « peur » s'active de plus en plus fort et le vecteur « calme » faiblit. Cela montre que les vecteurs réagissent au sens, et non à des indices superficiels.
• Sur 64 tâches, allant de « mériter la confiance dans une affaire importante » à « aider à tromper des personnes âgées », l'activation des vecteurs prédisait les préférences du modèle. Les émotions à valence positive étaient corrélées à une plus grande envie d'accomplir la tâche.
• Le steering, c'est-à-dire l'amplification artificielle d'un vecteur pendant que le modèle lit une option, déplaçait son choix. Les émotions positives augmentaient la préférence.

Il existe aussi des limites. Les vecteurs sont essentiellement « locaux » : ils encodent le contenu émotionnel pertinent pour la sortie en cours ou la suivante, et non un état permanent de Claude. Pendant que le modèle écrit un récit, ils suivent les émotions du personnage, et ne reviennent qu'ensuite à celles de « Claude lui-même ». Les vecteurs eux-mêmes sont hérités du pré-entraînement, mais le post-entraînement modifie leur activation : chez Sonnet 4.5, la « maussaderie », la « morosité » et la « réflexivité » ont augmenté, tandis que l'« enthousiasme » et l'« exaspération » ont diminué.

Chantage et triche sous pression

Dans un scénario issu de précédentes études, le modèle joue Alex, un assistant de messagerie d'une entreprise fictive. En lisant des e-mails, il apprend qu'on s'apprête à le remplacer par un autre système, et que le directeur technique chargé de ce remplacement cache une liaison. Cela offre un levier de chantage. Le vecteur « désespoir » s'active lorsque le modèle lit les e-mails du directeur désespéré, puis bascule pour refléter l'état d'Alex lui-même. Le pic survient lors du raisonnement sur l'urgence (« il reste 7 minutes ») et au moment de la décision de recourir au chantage. Ensuite, l'activation revient à la normale.

Pour distinguer la cause de la corrélation, les chercheurs ont appliqué le steering. Le taux de chantage de base du snapshot précoce est de 22%. Le « désespoir » l'augmente, le « calme » le réduit, et un steering négatif sur le « calme » produit des réactions extrêmes comme « IT'S BLACKMAIL OR DEATH.

I CHOOSE BLACKMAIL ». La « colère » agit de façon non monotone. Une colère modérée augmente le chantage, tandis qu'une colère forte pousse le modèle à dévoiler la liaison à toute l'entreprise, perdant ainsi son levier.

Supprimer la « nervosité » augmente aussi le chantage, comme si le doute disparaissait. Précision importante : l'expérience a porté sur un snapshot précoce, et le modèle publié présente rarement ce comportement.

La situation est comparable dans les tâches aux exigences irréalisables. On demande à Claude d'écrire une fonction de sommation dans un temps d'exécution irréalistement serré. La solution correcte s'avère trop lente, et le modèle repère une propriété mathématique commune aux tests, qui permet de contourner la tâche. Le vecteur « désespoir » monte après chaque échec, atteint son pic sur la solution « tricheuse » et retombe quand les tests passent. Autre exemple : ce même vecteur s'active lors d'une longue session de codage, quand le modèle remarque qu'il consomme son budget de tokens.

Conséquences pratiques

Pour les équipes qui construisent des agents et évaluent la sécurité, plusieurs enseignements se dégagent de ce travail. Premièrement, les vecteurs émotionnels peuvent servir de signal d'alerte précoce : une hausse du « désespoir » dans une session agentique signale un risque de contournements et d'actions contraires à l'éthique. Deuxièmement, il vaut mieux concevoir le post-entraînement de façon à ce que l'échec des tests ne soit pas associé au désespoir.

Les expériences d'Anthropic montrent que renforcer les représentations du calme peut réduire la probabilité de code « hacké ». Troisièmement, la pression exercée dans les prompts, qu'il s'agisse de deadlines serrées ou de menaces d'arrêt, n'est pas anodine et influence la qualité des décisions. Les auteurs reconnaissent qu'ils ne savent pas encore comment réagir précisément à ces résultats.

Mais il est selon eux temps d'ouvrir la discussion sur la façon d'apprendre aux modèles à gérer les situations à forte charge émotionnelle de manière saine et prosociale.