Anthropic ouvre une fenêtre sur la pensée de Claude : l'outil Jacobian lens détecte des concepts cachés

Anthropic a mis au point une technique baptisée Jacobian lens (lentille de Jacobi), qui offre la vue la plus claire à ce jour de ce qui se passe à l'intérieur de Claude lorsqu'il répond à des questions ou exécute des tâches.

Ce qu'elle révèle

Quand Claude répond à une question, Jacobian lens montre l'activation dans les couches intermédiaires. Les résultats vont du quotidien (l'activation d'une couche liée aux nombres lors de la résolution d'un problème de maths) à l'inhabituel (des concepts cachés qui n'apparaissent pas dans la sortie explicite).

Comment elle fonctionne

Au lieu d'examiner à l'aveugle les poids et les activations, l'outil s'appuie sur les mathématiques du jacobien (une matrice de dérivées) pour suivre l'effet des changements de l'entrée sur les représentations intermédiaires. Cela permet de :

• Voir quels concepts abstraits le modèle active
• Suivre le cheminement de la logique de l'entrée à la sortie
• Comprendre quelles chaînes de raisonnement erronées mènent à de mauvaises réponses

Ce que cela change pour la sécurité

Mettre au jour des concepts cachés compte pour la sécurité de l'IA : si l'on constate qu'un modèle active des concepts dangereux, même quand la réponse finale est sûre, on peut le corriger.