Anthropic Abriu uma Janela para o Pensamento de Claude: Ferramenta Jacobian Lens Captura Conceitos Ocultos

Anthropic desenvolveu a técnica Jacobian lens, que oferece a visão mais clara até agora do que acontece dentro do Claude quando ela responde perguntas ou realiza tarefas.

O Que Encontram

Quando Claude responde a uma pergunta, o Jacobian lens mostra a ativação em camadas intermediárias. Os resultados variam do cotidiano (ativação de uma camada relacionada a números ao resolver matemática) ao inusitado (conceitos ocultos que não aparecem na saída explícita).

Como Funciona

Em vez de revisar pesos e ativações às cegas, a ferramenta usa matemática Jacobiana (matriz de derivadas) para rastrear como mudanças na entrada afetam as representações intermediárias. Isso permite:

• Ver quais conceitos abstratos o modelo ativa
• Rastrear o caminho da lógica da entrada até a saída
• Entender quais cadeias incorretas de raciocínio levam a respostas erradas

Significado para a Segurança

Descobrindo conceitos ocultos é importante para a segurança de IA: se vermos que o modelo ativa conceitos perigosos, mesmo que a resposta final seja segura, podemos corrigi-lo.