Pesquisadores provam por que o treinamento adversarial deixa os mapas de saliência esparsos

Os mapas de saliência construídos a partir do gradiente ficam visivelmente mais limpos em redes submetidas a treinamento adversarial: em vez de uma mancha ruidosa, sobram poucos pixels brilhantes. Esse padrão já havia sido observado empiricamente, mas faltava uma explicação convincente. O preprint arXiv:2610.10666 oferece uma prova rigorosa para redes ReLU de duas camadas: a esparsidade nasce da geometria dos ataques ℓ∞, que leva o modelo a preferir gradientes alinhados aos eixos de coordenadas.

De onde vem a esparsidade

O ponto de partida do trabalho é um resultado conhecido. Para diversas funções de perda, o treinamento adversarial equivale a minimizar o risco empírico usual com dois acréscimos: uma penalidade de weight decay e um termo de adversarial total variation. Esse segundo termo, na prática, penaliza o modelo pela inclinação da função, mas leva em conta a norma que limita o ataque.

Depois vem o passo-chave. Em um ataque ℓ∞, a perturbação vive dentro de um cubo, e o pior caso, em primeira aproximação, é determinado pela norma ℓ1 do gradiente, ou seja, a norma dual de ℓ∞. Esta é uma interpretação minha, e não uma citação do artigo, mas ela condiz bem com a conclusão dos autores: uma penalidade desse tipo funciona de modo semelhante ao LASSO e prefere gradientes com poucos componentes não nulos. Os autores descrevem isso como anisotropia da norma do gradiente: as direções ao longo dos eixos são "mais baratas" que as diagonais.

O que exatamente foi provado

O teorema é assintótico. O número de pontos de dados e o número de neurônios crescem, enquanto os parâmetros de regularização tendem a zero ao mesmo tempo, com uma taxa adequada. No limite, os minimizadores convergem para um classificador bayesiano que, entre todos os candidatos possíveis, é escolhido pela menor norma do gradiente e pela menor norma de Barron. A norma de Barron mede a complexidade da função que uma rede de duas camadas consegue aproximar, de modo que a condição, na prática, seleciona a solução mais simples da classe.

Os elementos centrais do resultado:

• arquitetura: redes de duas camadas com ReLU;
• treinamento: adversarial, com ataques limitados pela norma ℓ∞;
• limite: crescimento da amostra e da largura da rede, com a regularização tendendo a zero;
• resultado da convergência: classificador bayesiano com gradiente e norma de Barron mínimos;
• consequência: a anisotropia da norma do gradiente produz gradientes esparsos e alinhados aos eixos.

A parte experimental é mais modesta que a teoria. Os autores comparam, em modelos treinados de forma natural e adversarial, a norma ℓ1 do gradiente e a esparsidade após a aplicação de um limiar. O resumo não traz números concretos, então será preciso consultar o texto completo para avaliar a escala do efeito.

Onde está o limite de aplicação

Há várias limitações, e todas são relevantes. Uma rede ReLU de duas camadas está longe das redes convolucionais e dos transformers modernos para visão. A condição sobre as funções de perda restringe o domínio em que a equivalência vale. A assintótica em dados e largura não garante o comportamento em amostras finitas. Por fim, trata-se de um preprint, sem revisão por pares.

Há também uma ressalva conceitual. Um mapa de saliência esparso parece convincente, mas isso não significa que ele reflita com mais precisão a lógica do modelo. É possível que a rede tenha simplesmente abandonado parte das características em nome da robustez, e que a "limpeza" do mapa reflita perda de informação, e não clareza da explicação.

O que verificar na prática

Se você usa mapas de saliência baseados em gradiente para auditar modelos, compare-os levando em conta a forma de treinamento. Comparar os mapas de um modelo treinado de forma natural e de um robusto pela "limpeza" visual induz ao erro: parte do efeito é determinada pela norma do ataque. Uma verificação simples é calcular a norma ℓ1 do gradiente e a fração de componentes acima de um limiar, como fazem os autores, e comparar os dois modelos nas mesmas entradas.

Para ataques ℓ2, é de se esperar outra geometria, e a conclusão sobre os eixos não pode ser transferida para eles. Para uma implantação segura, vale complementar os mapas de gradiente com métodos que não dependam de uma única norma, como testes de permutação e remoção de características.