Pesquisadores comparam a atenção de CNN, ViT e Mamba com o olhar humano

Uma equipe de autores mediu o quanto a atenção de três famílias de modelos de visão coincide com o ponto para onde uma pessoa realmente olha. A comparação incluiu redes convolucionais (CNN), Vision Transformer (ViT) e Vision Mamba (ViM). Os modelos foram testados em três tipos de tarefa: classificação fina, imagem médica e reconhecimento de emoções. Os dados de eye tracking serviram de referência, e a similaridade foi avaliada com três métricas. O trabalho foi publicado no arXiv sob o número 2610.12703.

Como a coincidência foi medida

A maioria dos estudos de interpretabilidade continua qualitativa: os autores exibem mapas de calor bonitos e tiram conclusões a olho nu. Aqui, o caminho foi outro. Os mapas de atribuição post-hoc e os mapas de calor do olhar passam por um pipeline padronizado de normalização. Na saída, ambos se tornam distribuições de probabilidade espaciais e podem ser comparados diretamente. Para cada arquitetura, os autores usaram métodos de XAI específicos, porque o que funciona para convolução se transfere mal para a atenção de um transformer ou para os blocos state-space da Mamba.

A similaridade foi calculada com três medidas complementares:

• Jensen-Shannon similarity: o quanto os suportes coincidem, ou seja, as regiões em que ambos os mapas têm alguma massa;
• Chi-square similarity: o quanto difere a distribuição de massa entre os pixels;
• correlação de Pearson: se a estrutura coincide, isto é, se os valores sobem e descem nos mesmos lugares.

Cada métrica cobre o ponto cego das outras. Um único número não basta para uma conclusão honesta, e é nisso que se apoiam os resultados mais interessantes.

Três formas de olhar para uma imagem

Em média, as CNNs mostram um foco mais global. Seus mapas de saliência são espacialmente difusos, mas, em cenas gerais, correlacionam bem com a percepção humana. As pessoas também começam abarcando a cena inteira, e as redes convolucionais acabam parecidas com elas nesse aspecto.

Os ViTs funcionam de outro jeito. Sua atenção é fragmentada, no nível de patches, e muitas vezes se prende a microcaracterísticas discriminativas: uma textura pequena, um detalhe da plumagem, a borda de um objeto. Para classificação, é uma estratégia razoável. Mas ela não precisa coincidir com a forma como um humano olha.

O caso menos trivial é o da Mamba. Ela é bem explicável em tarefas médicas, mas, em imagens naturais, as distribuições de intensidade divergem das humanas. Os autores mostram que a causa aparece nas próprias métricas: uma sobreposição quase total dos suportes se combina com uma correlação linear desprezível. Em termos simples, o modelo destaca as mesmas regiões que a pessoa, mas distribui o "peso" dentro delas de outra maneira. Olhando apenas a sobreposição, a Mamba parece ótima. Olhando apenas a correlação, parece ruim. A verdade é que as duas métricas descrevem lados diferentes do mesmo quadro.

Separadamente, os autores verificaram como o congelamento do backbone e as estratégias de ensemble afetam a interpretabilidade. O abstract traz apenas uma conclusão geral: decisões de arquitetura e de treinamento alteram de forma notável a concordância entre o mapa de saliência do modelo e a atenção humana. Não há números concretos ali; será preciso procurá-los no texto completo do artigo.

Conclusões práticas

Para equipes que desenvolvem modelos em medicina e em outras áreas em que o custo do erro é alto, a conclusão é simples: a escolha da arquitetura influencia não só a acurácia, mas também o quanto as explicações são verificáveis. Um mapa de calor, por si só, não prova nada. É preciso confrontá-lo com uma referência, e de preferência com várias métricas ao mesmo tempo.

Checklist prático que decorre do trabalho:

• não confiar em uma única métrica de similaridade: a sobreposição de regiões e a correlação podem dar sinais opostos;
• escolher o método de XAI de acordo com a arquitetura, em vez de aplicar o mesmo a todos os modelos;
• verificar as explicações separadamente para cada domínio: a Mamba, a julgar pelos resultados, se comporta de modo diferente em imagens médicas e em imagens naturais;
• recalcular a concordância depois de congelar o backbone ou montar um ensemble.

A limitação da abordagem é evidente: coincidir com o olhar humano não equivale a decidir corretamente. Um modelo pode olhar para outro lugar e estar certo. Mas, como ferramenta de auditoria em áreas regulamentadas, a comparação quantitativa com eye tracking parece bem mais confiável do que avaliar mapas "a olho".