Avaliação de interpretabilidade de SAEs: o pipeline de medição pesa mais que a arquitetura do modelo

Em julho de 2026, pesquisadores publicaram no arXiv um trabalho que mostra que, ao comparar a interpretabilidade de autoencoders esparsos (sparse autoencoders, SAEs), o resultado depende mais do pipeline de avaliação escolhido do que da arquitetura dos próprios modelos.

O que foi testado e como

Os autores quiseram saber se as avaliações de autointerpretabilidade refletem propriedades estáveis das features do modelo ou apenas peculiaridades do procedimento de medição. No pipeline padrão, um modelo de linguagem explica cada feature do SAE, e um segundo modelo de linguagem avalia a qualidade dessa explicação. É nesse tipo de avaliação que se baseiam as comparações de interpretabilidade de SAEs entre diferentes artigos.

O experimento reuniu quatro métricas, dois modelos e quatro eixos de variação metodológica. Em todas as condições, a premissa de que as avaliações são estáveis não se confirmou.

• Quatro métricas de avaliação: simulation, detection, fuzzing e purity
• Dois modelos: Pythia-160M e Apertus-8B
• Quatro eixos de variação metodológica no pipeline de avaliação
• Detection é a métrica mais estável; fuzzing é pouco confiável em todas as condições
• Três ferramentas propostas pelos autores: decomposição de variância, Stability Check e Minimum Reporting Checklist

Por que a metodologia pesa mais que a arquitetura

A variabilidade metodológica somada supera a arquitetural em todas as métricas e nos dois modelos testados — essa é a principal conclusão do trabalho. Em termos simples, a dispersão das avaliações causada pelo desenho do próprio procedimento de medição foi maior do que a dispersão entre as diferentes arquiteturas de SAE que esse procedimento deveria distinguir.

"A variabilidade metodológica somada supera a arquitetural em todas as

métricas e em todos os modelos testados", diz o resumo do trabalho no arXiv.

Isso abala a própria lógica das comparações entre artigos: se duas equipes obtêm avaliações de autointerpretabilidade diferentes, a diferença pode vir das configurações dos pipelines, e não da qualidade dos autoencoders.

Onde as avaliações falham

Cada métrica apresentou seu próprio perfil de instabilidade. A detection foi a mais confiável; a fuzzing, ao contrário, se mostrou pouco confiável em todas as condições testadas. As métricas não são intercambiáveis: a escolha de uma delas, por si só, muda a conclusão final.

O ranqueamento de features é um problema à parte. Segundo o estudo, as listas top-k das features mais interpretáveis não se mantêm quando o corpus e as condições de amostragem mudam. Ao mesmo tempo, as avaliações médias permanecem estáveis e mascaram a instabilidade no nível de cada feature — uma falha impossível de perceber quando se acompanha apenas a similaridade entre explicações.

O que isso significa

Uma avaliação pouco confiável freia o avanço da interpretabilidade justamente quando ferramentas confiáveis para entender sistemas de IA são mais necessárias. Para que parte das comparações na literatura sobre SAEs deixe de refletir diferenças de pipeline em vez de diferenças entre modelos, os autores propõem um método de decomposição de variância, o procedimento Stability Check e o Minimum Reporting Checklist — um conjunto mínimo de parâmetros que os artigos devem divulgar.

Perguntas frequentes

Qual métrica de avaliação se mostrou a mais confiável?

Segundo os resultados do trabalho, a detection foi a mais estável das quatro métricas. A fuzzing, ao contrário, foi considerada pouco confiável em todas as condições testadas, enquanto simulation e purity apresentaram seus próprios perfis de instabilidade.

O que os autores propõem para tornar a avaliação mais confiável?

Os autores propõem três ferramentas: um método de decomposição de variância (variance decomposition), o procedimento Stability Check, para verificar a estabilidade das avaliações, e o Minimum Reporting Checklist — uma lista de parâmetros do pipeline que devem ser divulgados nos artigos para que as comparações continuem sendo equivalentes.