Autoencoder Esparso
Um autoencoder esparso (SAE) é uma rede neural treinada para reconstruir entradas através de uma grande camada oculta supercompleta — a maioria dos neurônios inativos para qualquer entrada — usado em interpretabilidade mecanística para decompor ativações de transformer superimpostas em features individualmente interpretáveis.
Um autoencoder esparso (SAE) é uma variante da arquitetura clássica de autoencoder em que uma penalidade de esparsidade L1 na camada oculta força a rede a representar cada entrada usando apenas uma pequena fração de seus neurônios ocultos. Diferentemente de autoencoders convencionais que comprimem informação, SAEs aprendem representações supercompletas — mais neurônios ocultos do que dimensões de entrada — trocando compressão pela habilidade de desenredar as muitas direções distintas que a entrada pode conter. A restrição de esparsidade encoraja neurônios ocultos individuais a se especializarem para padrões específicos, raramente co-ocorrentes.
A aplicação de SAEs à interpretabilidade mecanística foi desenvolvida sistematicamente pela Anthropic no artigo de 2023 "Towards Monosemanticity" e no artigo de 2024 "Scaling and Evaluating Sparse Autoencoders." A intuição motivadora é que camadas MLP de transformer e ativações de fluxo residual exibem superposição: porque modelos armazenam mais features do que têm dimensões, neurônios individuais respondem a muitos conceitos não relacionados simultaneamente. Aplicar um SAE a estas ativações permite que ele aprenda um dicionário de direções em que cada neurônio oculto de SAE tende a ativar para um único conceito interpretável por humanos em vez de muitos de uma vez. As análises da Anthropic identificaram milhões de tais features em modelos Claude, correspondendo a entidades reconhecíveis, construtos de programação, estados emocionais e tópicos sensíveis.
SAEs importam para segurança em IA porque fornecem um dicionário escalável e enumerável dos conceitos internos de um modelo. Com este dicionário, pesquisadores podem investigar quais features ativam durante uma geração dada, testar se estados internos relevantes à segurança estão presentes mesmo quando ausentes da saída, e realizar direcionamento direcionado ao fixar artificialmente ativações de features. Eles também permitem o estudo de como features mais simples se compõem em representações mais complexas, suportando uma teoria mais ampla de armazenamento de conhecimento em grandes modelos de linguagem.
A partir de 2026, SAEs foram treinados em múltiplos modelos de fronteira e a técnica tornou-se uma ferramenta padrão em pesquisa de interpretabilidade mecanística. Bibliotecas de código aberto como SAELens permitem pesquisadores treinar e analisar SAEs em checkpoints de modelo publicamente disponíveis. Desafios ativos incluem treinar SAEs eficientemente na escala dos maiores modelos, estabelecer que features identificadas são relevantes causalmente em vez de meramente correlacionalmente, e lidar com features abstratas ou relacionais que resistem caracterização de token único.