Interpretabilidade Mecanística

Interpretabilidade mecanística é um subcampo da pesquisa em IA que tenta reverter engenharia de computações internas de redes neurais — identificando circuitos específicos, características e algoritmos que produzem comportamentos de modelo — em vez de tratar modelos como caixas pretas opacas.

Interpretabilidade mecanística (frequentemente abreviada "mech interp") emergiu do trabalho de Chris Olah e colaboradores começando por volta de 2020 na OpenAI e continuando na Anthropic. O objetivo principal é compreender não apenas o que uma rede neural faz — seu comportamento entrada-saída — mas como: quais pesos, neurônios e cabeças de atenção implementam quais algoritmos, e quais informações estão codificadas em quais representações internas. A abordagem trata um modelo treinado como código desconhecido a ser revertido através de experimentos sistemáticos: ablação de componentes, correção de ativações e rastreamento do fluxo de informações através da rede.

Conceitos fundamentais incluem features (direções no espaço de ativação correspondendo a conceitos interpretáveis como "texto em francês" ou "chamada de função Python"), circuitos (pequenos subgrafos de pesos e ativações implementando computação específica como identificação de objeto indireto ou comparação maior-que), e superposição (a observação que modelos codificam mais features do que têm dimensões sobrepondo direções, confiando na escassez de entradas reais para limitar interferência). Achados empíricos marcantes incluem o circuito de cabeça de indução que medeia aprendizado em contexto em transformers e os detectores de curva e neurônios multimodais identificados em modelos de visão.

Interpretabilidade mecanística importa principalmente como uma ferramenta de segurança em IA. Se pesquisadores puderem decodificar confiavelmente as computações internas de um modelo, eles podem auditar raciocínio enganoso, verificar que o treinamento de segurança produziu estados internos genuinamente alinhados em vez de conformidade de superfície, e prever comportamento em situações novas. Também permite intervenções direcionadas — modificando circuitos específicos para reduzir capacidades prejudiciais — em vez de abordagens grosseiras como fine-tuning completo.

A partir de 2026, Anthropic publicou a pesquisa de mech interp mais extensa em modelos de fronteira, incluindo análises de autoencoder esparso em larga escala que identificaram milhões de features interpretáveis em Claude. Google DeepMind, EleutherAI e grupos acadêmicos em MIT e Harvard mantêm programas ativos. Ferramentas como TransformerLens e Neuronpedia permitem exploração interativa de internals de modelo. Problemas abertos significativos permanecem, incluindo dimensionamento de análises de circuitos para modelos com centenas de bilhões de parâmetros e estabelecimento de contas causais em vez de meramente correlacionais de features identificadas.