Autoencoders esparsos: interações de pares elevam a rank fidelity a 0,7790

Os autoencoders esparsos (SAEs) se tornaram havia muito tempo a principal ferramenta da interpretabilidade mecanicista: eles decompõem as ativações de um modelo em features esparsas, decodificadas de forma linear. Um novo trabalho, que chegou ao Hugging Face Daily Papers, testa se os efeitos comportamentais dessas features também se somam de maneira linear. A resposta: parcialmente. Os autores introduziram a métrica SAE Additivity Residuals (SAR) e mostraram, em 18 combinações de modelos e comportamentos, que as coordenadas do SAE são mais aditivas que uma base aleatória. Mesmo assim, as interações de pares continuam necessárias: no experimento combinado com steering, a rank fidelity subiu de 0,5874 para 0,7790, e o erro de ordenação caiu de 0,1444 para 0,0606.

Decomposição linear, consequências não lineares

A decomposição em si é aditiva por construção no SAE: a ativação é igual à soma das contribuições das features. Mas entre a ativação e o comportamento ficam as camadas seguintes do modelo, e elas são não lineares. Se duas features forem ativadas ao mesmo tempo, o efeito na saída não precisa ser igual à soma dos efeitos de cada uma isoladamente. Isso importa na prática. Quando um pesquisador explica um comportamento por um conjunto de features, ou controla o modelo injetando várias features de uma vez, ele conta implicitamente com a soma. Sem verificação, essa suposição continua sendo apenas uma hipótese.

O que exatamente a SAR mede

A SAR estima a fração da variação comportamental que permanece sem explicação acima de uma ordem de interação escolhida. A ordem 1 corresponde a um modelo puramente aditivo, a ordem 2 acrescenta os termos de pares, e assim por diante. Com amostragem independente de subconjuntos de features, a SAR populacional é exatamente igual à energia normalizada das interações acima dessa ordem. Ela também limita o erro de ordenação de coalizões, ou seja, o erro ao ranquear conjuntos de features pela força de seu efeito, para a aproximação ótima de baixa ordem.

Para separar a contribuição do próprio SAE da contribuição dos cálculos subjacentes do modelo, os autores compararam as coordenadas treinadas com rotações aleatórias do mesmo subespaço selecionado, que preservam a soma. Se a aditividade fosse determinada apenas pelos cálculos do modelo, não haveria diferença. Há diferença.

Resultados em números

• Em todas as 18 configurações (modelo mais comportamento), as coordenadas treinadas do SAE têm resíduo de primeira ordem menor que as rotacionadas aleatoriamente.
• Os termos de pares melhoram a qualidade da ordenação de coalizões em dados reservados (held-out) em todas as configurações.
• Os termos de pares superam modelos com o mesmo número de parâmetros construídos sobre termos de terceira ordem escolhidos ao acaso. O ganho vem da estrutura dos pares, e não da quantidade de parâmetros.
• No experimento combinado com steering, a rank fidelity subiu de 0,5874 para 0,7790.
• No mesmo experimento, o erro de ordenação caiu de 0,1444 para 0,0606, ou seja, mais da metade.

O que fazer na prática

A conclusão para quem trabalha com SAEs tem duas partes. Primeira: descrições aditivas do comportamento por meio de features de SAE se justificam bem mais do que em uma base aleatória. Para estimativas rápidas e uma análise preliminar, um modelo linear de efeitos pode bastar. Segunda: se você precisa de explicações conjuntas "fiéis" ou de um controle confiável de várias features ao mesmo tempo, as contribuições individuais não bastam. As correções de pares trazem um ganho perceptível na precisão do ranqueamento, enquanto os termos triplos em amostras aleatórias não trazem.

Na prática, isso significa que, ao selecionar combinações de features para steering, vale medir a SAR e verificar os efeitos de pares, em vez de confiar na soma dos efeitos individuais. Há uma ressalva: o resumo do artigo não informa quais são os modelos, o tamanho dos dicionários dos SAEs nem o tipo de comportamento avaliado, então convém ter cautela ao transpor os números para o seu stack. O código está publicado no repositório OpenSAE/SAE-Behavioral-Compositionality, de modo que dá para rodar a métrica nos seus próprios SAEs e verificar o tamanho do resíduo das suas features.