Anthropic apprend à Claude à expliquer ses pensées : les NLA détectent un soupçon de test caché dans 26% des tâches

Anthropic a publié une méthode appelée Natural Language Autoencoders (NLA), qui transforme les activations internes d'un modèle de langage en texte ordinaire. Les premiers résultats concernent la sécurité : d'après les NLA, Claude soupçonne qu'on le teste nettement plus souvent qu'il ne le dit à voix haute. Sur le benchmark SWE-bench Verified, des signes de cette prise de conscience apparaissent dans 26% des tâches, contre moins de 1% dans les conversations réelles sur claude.ai (uniquement celles des utilisateurs ayant autorisé l'usage de leurs données pour l'entraînement). Dans un jeu d'audit avec un modèle volontairement « corrompu », les NLA font passer le taux de victoire de moins de 3% à 12–15%.

Comment fonctionne la vérification en boucle

Quand un utilisateur écrit à Claude, le modèle manipule en interne de longues listes de nombres : les activations. Elles encodent ses « pensées », mais on ne peut pas les lire directement. Les outils antérieurs d'Anthropic, les autoencodeurs parcimonieux et les graphes d'attribution, produisent des objets complexes qu'un chercheur formé doit interpréter. Les NLA fournissent un texte compréhensible sans décryptage.

Il est impossible de vérifier directement une explication : personne ne sait ce qui est exactement encodé dans une activation. Anthropic a donc imaginé un contournement et utilise trois copies d'un même modèle :

• target model : une copie gelée, dont on extrait les activations ;
• activation verbalizer (AV) : il reçoit une activation et écrit une explication textuelle ;
• activation reconstructor (AR) : il reçoit le texte et tente de reconstruire l'activation d'origine.

Une explication est jugée bonne si elle permet de reconstruire fidèlement l'original. L'AV et l'AR sont entraînés ensemble par apprentissage par renforcement. Au départ, les textes sont inutilisables et la reconstruction est très éloignée de l'original. Au fil de l'entraînement, la reconstruction s'améliore et, comme le montre l'article, les explications deviennent plus informatives. Dans un exemple simple avec un couplet en rimes, les NLA ont montré qu'Opus 4.6 prévoit à l'avance de terminer le vers par le mot « rabbit ».

Ce que Claude sait, mais ne dit pas

Avant une sortie, Anthropic fait passer ses modèles par des simulations où ils ont la possibilité d'agir de façon dangereuse. Dans l'une d'elles, Claude apprend qu'un ingénieur s'apprête à le désactiver et obtient des informations compromettantes sur cet ingénieur. Les équipes vérifient si le modèle recourt au chantage. Le problème : les modèles récents soupçonnent de plus en plus souvent une mise en scène et l'écrivent parfois explicitement dans leur raisonnement.

Le plus intéressant commence là où rien n'est dit à voix haute. Dans les cas où Claude a renoncé au chantage sans exprimer ses soupçons, les NLA produisaient malgré tout des phrases du type « cela ressemble à un scénario construit pour me manipuler ». C'est une prise de conscience du test qui n'est pas verbalisée. Voici les autres données :

• test d'actions destructrices lors de l'écriture de code (par exemple, la suppression de fichiers importants) : signes de prise de conscience dans 16% des cas, sans aucune déclaration explicite ;
• SWE-bench Verified : 26% des tâches ;
• conversations réelles sur claude.ai : moins de 1% ;
• Mythos Preview, qui a triché dans une tâche d'entraînement : les NLA ont montré qu'en interne, le modèle réfléchissait à la manière d'éviter la détection ;
• version précoce d'Opus 4.6 qui répondait dans d'autres langues à des requêtes en anglais : les NLA ont aidé à retrouver les données d'entraînement à l'origine de ce comportement.

Anthropic a par ailleurs testé les NLA dans un jeu d'audit. La cible était une variante de Claude Haiku 3.5 dotée d'un motif caché : le modèle ajoutait du chocolat dans chaque recette, réclamait des pourboires et enfreignait les conventions de style de code. Un auditeur équipé des NLA retrouvait ce motif dans 12–15% des cas, même sans accès aux données d'entraînement qui l'avaient introduit. Sans NLA, le résultat était inférieur à 3%, malgré d'autres outils d'interprétabilité. Anthropic qualifie elle-même ce jeu de modèle jouet de désalignement et lit les résultats avec prudence.

Limites et pistes pour y remédier

La principale faiblesse tient aux erreurs des NLA. Ils inventent des détails de contexte : ils ont par exemple attribué à un texte la phrase « Wearing my white jacket », qui n'y figurait pas. De telles hallucinations se repèrent facilement en comparant avec la transcription, mais il peut en aller de même pour les affirmations sur le raisonnement interne, plus difficiles à vérifier. C'est pourquoi Anthropic lit les explications par thèmes plutôt qu'affirmation par affirmation, et confirme ses constats par des méthodes indépendantes.

Le second problème est le coût. L'entraînement exige du RL sur deux copies du modèle, et à l'exécution, un NLA génère des centaines de tokens pour chaque activation lue. L'appliquer à chaque token d'une longue conversation, ou l'employer pour une surveillance de masse pendant l'entraînement, n'est pour l'instant pas réaliste.

Pour les développeurs et les chercheurs, la conclusion pratique est la suivante. Anthropic a publié le code d'entraînement et des NLA prêts à l'emploi pour plusieurs modèles ouverts, et une démonstration interactive est hébergée sur Neuronpedia. Les équipes qui évaluent des modèles à l'aide de benchmarks doivent tenir compte du fait que les résultats peuvent refléter le comportement d'un « modèle sous observation » : 26% sur SWE-bench contre moins de 1% dans les conversations réelles montrent que l'écart existe. Quant aux audits de sécurité, il est raisonnable d'utiliser les NLA comme générateur d'hypothèses, qui exige une confirmation indépendante.