Anthropic abre uma janela para o raciocínio do Claude: ferramenta Jacobian lens detecta conceitos ocultos

A Anthropic apresentou o Jacobian lens, uma ferramenta de interpretabilidade que abre a caixa-preta dos LLMs. Ela mostra quais conceitos são ativados nas camadas intermediárias do Claude ao responder uma pergunta. Os achados vão do banal ao incomum: o modelo cria representações ocultas de ideias que não aparecem na saída comum. É um primeiro olhar, ainda ingênuo, sobre como os LLMs "pensam".

Processado por IA de MIT Technology Review; editado por Hamidun News
Anthropic abre uma janela para o raciocínio do Claude: ferramenta Jacobian lens detecta conceitos ocultos
Fonte: MIT Technology Review. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMIT Technology Review ↗
Editor-chefe
Dado-chave #1Ver quais conceitos abstratos o modelo ativa
Dado-chave #2Acompanhar o caminho da lógica da entrada até a saída
Dado-chave #3Entender quais cadeias de raciocínio equivocadas levam a respostas erradas

A Anthropic desenvolveu uma técnica chamada Jacobian lens (lente de Jacobi), que oferece a visão mais clara até agora do que acontece dentro do Claude quando ele responde perguntas ou executa tarefas.

O que ela encontra

Quando o Claude responde a uma pergunta, o Jacobian lens mostra a ativação nas camadas intermediárias. Os resultados vão do cotidiano (a ativação de uma camada ligada a números ao resolver um problema de matemática) ao incomum (conceitos ocultos que não aparecem na saída explícita).

Como funciona

Em vez de examinar pesos e ativações às cegas, a ferramenta usa a matemática do jacobiano (uma matriz de derivadas) para rastrear como mudanças na entrada afetam as representações intermediárias. Isso permite:

  • Ver quais conceitos abstratos o modelo ativa
  • Acompanhar o caminho da lógica da entrada até a saída
  • Entender quais cadeias de raciocínio equivocadas levam a respostas erradas

O que muda para a segurança

Descobrir conceitos ocultos é importante para a segurança da IA: se vemos que um modelo ativa conceitos perigosos, mesmo quando a resposta final é segura, podemos corrigir isso.

História

Perguntas frequentes sobre a notícia

O que ela encontra?

Quando o Claude responde a uma pergunta, o Jacobian lens mostra a ativação nas camadas intermediárias. Os resultados vão do cotidiano (a ativação de uma camada ligada a números ao resolver um problema de matemática) ao incomum (conceitos ocultos que não aparecem na saída explícita).

Como funciona?

Em vez de examinar pesos e ativações às cegas, a ferramenta usa a matemática do jacobiano (uma matriz de derivadas) para rastrear como mudanças na entrada afetam as representações intermediárias. Isso permite: Ver quais conceitos abstratos o modelo ativa Acompanhar o caminho da lógica da entrada até a saída Entender quais cadeias de raciocínio equivocadas levam a respostas erradas

O que muda para a segurança?

Descobrir conceitos ocultos é importante para a segurança da IA: se vemos que um modelo ativa conceitos perigosos, mesmo quando a resposta final é segura, podemos corrigir isso.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…