Anthropic a Ouvert une Fenêtre sur la Pensée de Claude : L'Outil Jacobian Lens Capture les Concepts Cachés

Anthropic a développé la technique Jacobian lens, qui offre la vision la plus claire à ce jour de ce qui se passe à l'intérieur de Claude lorsqu'elle répond aux questions ou effectue des tâches.

Ce Qu'ils Trouvent

Quand Claude répond à une question, le Jacobian lens montre l'activation dans les couches intermédiaires. Les résultats varient du quotidien (activation d'une couche liée aux nombres lors de la résolution de mathématiques) à l'insolite (concepts cachés qui n'apparaissent pas dans la sortie explicite).

Comment Cela Fonctionne

Au lieu d'examiner les poids et les activations à l'aveugle, l'outil utilise les mathématiques jacobiennes (matrice de dérivées) pour suivre comment les changements d'entrée affectent les représentations intermédiaires. Cela permet:

• De voir quels concepts abstraits le modèle active
• De tracer le chemin de la logique de l'entrée à la sortie
• De comprendre quelles chaînes incorrectes de raisonnement conduisent à des réponses incorrectes

Signification pour la Sécurité

Découvrir des concepts cachés est important pour la sécurité de l'IA: si nous voyons que le modèle active des concepts dangereux, même si la réponse finale est sûre, nous pouvons la corriger.