Des chercheurs démontrent pourquoi l'entraînement adversarial rend les cartes de saillance parcimonieuses

Les cartes de saillance fondées sur le gradient paraissent nettement plus propres sur les réseaux issus d'un entraînement adversarial : au lieu d'une tache bruitée, il ne reste que quelques pixels lumineux. Cet effet avait été observé empiriquement, mais sans explication convaincante. Le préprint arXiv:2610.10666 propose une démonstration rigoureuse pour les réseaux ReLU à deux couches : la parcimonie découle de la géométrie des attaques ℓ∞, qui pousse le modèle à préférer des gradients alignés sur les axes de coordonnées.

D'où vient la parcimonie

Le point de départ de l'article est un résultat connu. Pour un certain nombre de fonctions de perte, l'entraînement adversarial équivaut à minimiser le risque empirique ordinaire avec deux ajouts : une pénalité de weight decay et un terme d'adversarial total variation. Ce second terme pénalise, pour l'essentiel, la raideur de la fonction, mais en tenant compte de la norme qui borne l'attaque.

Vient ensuite l'étape clé. Dans une attaque ℓ∞, la perturbation vit dans un cube, et le pire cas est déterminé, au premier ordre, par la norme ℓ1 du gradient, c'est-à-dire la norme duale de ℓ∞. Il s'agit de mon interprétation, et non d'une citation de l'article, mais elle concorde bien avec la conclusion des auteurs : une pénalité de ce type agit comme un LASSO et favorise les gradients comportant peu de composantes non nulles. Les auteurs formulent cela comme une anisotropie de la norme du gradient : les directions le long des axes « coûtent moins cher » que les directions diagonales.

Ce qui est exactement démontré

Le théorème est asymptotique. Le nombre de points de données et le nombre de neurones augmentent, tandis que les paramètres de régularisation tendent simultanément vers zéro à une vitesse appropriée. À la limite, les minimiseurs convergent vers un classifieur de Bayes qui, parmi tous les classifieurs admissibles, est choisi selon la norme de gradient minimale et la norme de Barron minimale. La norme de Barron mesure la complexité d'une fonction qu'un réseau à deux couches est capable d'approcher ; cette condition revient donc à sélectionner la solution la plus simple de la classe.

Les éléments clés du résultat :

• architecture : réseaux à deux couches avec ReLU ;
• entraînement : adversarial, avec des attaques bornées par la norme ℓ∞ ;
• limite : croissance de l'échantillon et de la largeur du réseau, régularisation tendant vers zéro ;
• résultat de la convergence : un classifieur de Bayes de gradient et de norme de Barron minimaux ;
• conséquence : l'anisotropie de la norme du gradient produit des gradients parcimonieux, alignés sur les axes.

La partie expérimentale est plus modeste que la théorie. Les auteurs comparent, pour des modèles entraînés de manière classique et de manière adversariale, la norme ℓ1 du gradient et la parcimonie après application d'un seuil. L'abstract ne donne aucun chiffre précis : il faudra consulter le texte intégral pour juger de l'ampleur de l'effet.

Où s'arrête le domaine de validité

Les limites sont nombreuses et substantielles. Un réseau ReLU à deux couches est très loin des réseaux convolutifs et des transformers modernes pour la vision. La condition sur les fonctions de perte restreint le domaine où l'équivalence s'applique. Une asymptotique en données et en largeur ne garantit pas le comportement sur des échantillons finis. Enfin, il s'agit d'un préprint, non relu par des pairs.

Il faut aussi formuler une réserve conceptuelle. Une carte de saillance parcimonieuse paraît convaincante, mais il n'en découle pas qu'elle reflète plus fidèlement la logique du modèle. Il se peut que le réseau ait simplement abandonné une partie des caractéristiques au profit de la robustesse, et que la « netteté » de la carte traduise une perte d'information plutôt qu'une explication plus claire.

Que vérifier en pratique

Si vous utilisez des cartes de saillance fondées sur le gradient pour auditer des modèles, comparez-les en tenant compte du mode d'entraînement. Comparer les cartes d'un modèle classique et d'un modèle robuste sur leur « netteté » visuelle est trompeur : une partie de l'effet est dictée par la norme de l'attaque. Une vérification simple consiste à calculer la norme ℓ1 du gradient et la proportion de composantes au-dessus du seuil, comme le font les auteurs, puis à comparer les deux modèles sur les mêmes entrées.

Pour les attaques ℓ2, il faut s'attendre à une autre géométrie, et la conclusion sur les axes ne s'y transpose pas. Pour un déploiement sûr, il est utile de compléter les cartes de gradient par des méthodes qui ne dépendent pas d'une seule norme, par exemple les tests de permutation et la suppression de caractéristiques.