Investigadores demuestran por qué el entrenamiento adversarial vuelve dispersos los mapas de saliencia

Los mapas de saliencia construidos a partir del gradiente se ven notablemente más limpios en las redes sometidas a entrenamiento adversarial: en lugar de una mancha ruidosa, quedan unos pocos píxeles brillantes. Este patrón se había observado de forma empírica, pero faltaba una explicación convincente. El preprint arXiv:2610.10666 ofrece una demostración rigurosa para redes ReLU de dos capas: la dispersión surge de la geometría de los ataques ℓ∞, que lleva al modelo a preferir gradientes alineados con los ejes de coordenadas.

De dónde sale la dispersión

El punto de partida del trabajo es un resultado conocido. Para varias funciones de pérdida, el entrenamiento adversarial equivale a minimizar el riesgo empírico habitual con dos añadidos: una penalización weight decay y un término de adversarial total variation. Este segundo término penaliza, en esencia, la pendiente pronunciada de la función, pero lo hace teniendo en cuenta qué norma limita el ataque.

Sigue el paso clave. En un ataque ℓ∞, la perturbación vive en un cubo y, en primera aproximación, el peor caso lo determina la norma ℓ1 del gradiente, es decir, la norma dual de ℓ∞. Esta es mi interpretación y no una cita del artículo, pero encaja bien con la conclusión de los autores: una penalización de este tipo funciona de forma similar a LASSO y prefiere gradientes con pocas componentes distintas de cero. Los autores lo formulan como anisotropía de la norma del gradiente: las direcciones a lo largo de los ejes «cuestan menos» que las diagonales.

Qué se ha demostrado exactamente

El teorema es asintótico. El número de puntos de datos y de neuronas crece, y los parámetros de regularización tienden a cero a una velocidad adecuada. En el límite, los minimizadores convergen al clasificador bayesiano que, entre todos los admisibles, se elige por la norma de gradiente mínima y la norma de Barron mínima. La norma de Barron mide la complejidad de la función que puede aproximar una red de dos capas, de modo que la condición selecciona, en esencia, la solución más simple de la clase.

Elementos clave del resultado:

• arquitectura: redes de dos capas con ReLU;
• entrenamiento: adversarial, con ataques limitados por la norma ℓ∞;
• límite: crecimiento de la muestra y del ancho de la red, con la regularización tendiendo a cero;
• resultado de la convergencia: clasificador bayesiano con gradiente y norma de Barron mínimos;
• consecuencia: la anisotropía de la norma del gradiente produce gradientes dispersos y alineados con los ejes.

La parte experimental es más modesta que la teoría. Los autores comparan, en modelos entrenados de forma natural y de forma adversarial, la norma ℓ1 del gradiente y la dispersión tras aplicar un umbral. El resumen no incluye cifras concretas, así que habrá que consultar el texto completo para conocer la magnitud del efecto.

Dónde están los límites de aplicación

Hay varias limitaciones y son importantes. Una red ReLU de dos capas está lejos de las redes convolucionales y los transformers modernos para visión. La condición sobre las funciones de pérdida reduce el ámbito en el que funciona la equivalencia. La asintótica en datos y ancho no garantiza el comportamiento con muestras finitas. Y, por último, se trata de un preprint sin revisión por pares.

Hay también una salvedad conceptual. Un mapa de saliencia disperso resulta convincente, pero de ahí no se sigue que refleje con mayor precisión la lógica del modelo. Es posible que la red simplemente haya descartado parte de las características en favor de la robustez, y que la «limpieza» del mapa refleje una pérdida de información y no una explicación más clara.

Qué comprobar en la práctica

Si usa mapas de saliencia basados en gradiente para auditar modelos, compárelos teniendo en cuenta cómo se entrenó cada uno. Comparar los mapas de un modelo natural y uno robusto por su «pulcritud» visual induce a error: parte del efecto viene determinada por la norma del ataque. Una comprobación sencilla consiste en calcular la norma ℓ1 del gradiente y la proporción de componentes por encima del umbral, como hacen los autores, y comparar ambos modelos con las mismas entradas.

Para ataques ℓ2 cabe esperar otra geometría, y la conclusión sobre los ejes no puede trasladarse a ellos. Para un despliegue seguro conviene complementar los mapas de gradiente con métodos que no dependan de una sola norma, por ejemplo, las pruebas de permutación y la eliminación de características.