Оценка интерпретируемости SAE: пайплайн измерения важнее архитектуры модели

Pesquisadores publicaram em julho de 2026 um artigo no arXiv que mostrou que, ao comparar a interpretabilidade de autoencoders esparsos (sparse autoencoders, SAE), o resultado depende mais do pipeline de avaliação escolhido do que da arquitetura dos próprios modelos.

O que e como foi testado

Os autores verificaram se as pontuações de autointerpretability refletem propriedades estáveis das características do modelo ou peculiaridades colaterais do procedimento de medição. No pipeline padrão, um modelo de linguagem explica cada característica do SAE, e um segundo modelo de linguagem avalia a qualidade dessa explicação. São exatamente essas pontuações que servem de base quando se compara a interpretabilidade de SAEs de diferentes artigos.

O experimento abrangeu quatro métricas, dois modelos e quatro eixos de variação metodológica — e em todas as condições a suposição inicial sobre a estabilidade das pontuações não se confirmou.

• Quatro métricas de avaliação: simulation, detection, fuzzing e purity
• Dois modelos: Pythia-160M e Apertus-8B
• Quatro eixos de variação metodológica no pipeline de avaliação
• Detection é a métrica mais estável, fuzzing é pouco confiável em todas as condições
• Três ferramentas propostas pelos autores: decomposição de variância, Stability Check e Minimum Reporting Checklist

Por que a metodologia importa mais do que a arquitetura

A variabilidade metodológica, somada, supera a variabilidade arquitetônica em todas as métricas e nos dois modelos testados — essa é a principal conclusão do trabalho. Em termos simples, a dispersão das pontuações causada pelo próprio desenho do procedimento de medição acabou sendo maior do que a dispersão entre as diferentes arquiteturas de SAE que esse procedimento deveria distinguir.

«A variabilidade metodológica, somada, supera a variabilidade

arquitetônica em todas as métricas para todos os modelos testados», afirma o resumo do trabalho no arXiv.

Isso mina a própria lógica das comparações entre artigos: se duas equipes obtiveram pontuações de autointerpretability diferentes, a diferença pode ser explicada pelas configurações de seus pipelines, e não pela qualidade dos próprios autoencoders.

Onde as avaliações falham

Cada métrica mostrou seu próprio perfil de instabilidade, e a mais confiável de todas foi a detection; a fuzzing, por outro lado, mostrou-se pouco confiável em todas as condições testadas. Métricas diferentes não podem ser tratadas como intercambiáveis — a escolha de uma métrica específica, por si só, muda a conclusão final.

Um problema à parte é o ranqueamento de características. Segundo o estudo, as listas top-k das características mais interpretáveis não se mantêm estáveis quando o corpus e as condições de amostragem mudam. Ao mesmo tempo, as pontuações médias permanecem estáveis e mascaram a instabilidade no nível das características individuais — uma falha que é impossível perceber acompanhando apenas a semelhança das explicações.

O que isso significa

Uma avaliação pouco confiável trava o progresso em interpretabilidade justamente quando ferramentas confiáveis para entender sistemas de IA são mais necessárias. Para que parte das comparações na literatura sobre SAE deixe de refletir diferenças de pipeline em vez de diferenças entre modelos, os autores propõem um método de decomposição de variância, um procedimento Stability Check e um Minimum Reporting Checklist — um conjunto mínimo de parâmetros que os artigos devem divulgar.

Perguntas frequentes

Qual métrica de avaliação se mostrou a mais confiável?

De acordo com os resultados do trabalho, a mais estável das quatro métricas foi a detection. A métrica fuzzing, ao contrário, foi considerada pouco confiável em todas as condições testadas, enquanto simulation e purity apresentaram seus próprios perfis de instabilidade.

O que os autores propõem para uma avaliação mais confiável?

Os autores propõem três ferramentas: um método de decomposição de variância (variance decomposition), um procedimento Stability Check para verificar a estabilidade das pontuações e um Minimum Reporting Checklist — uma lista de parâmetros do pipeline que precisam ser divulgados nos artigos para que as comparações permaneçam comparáveis.