Исследователи доказали, почему состязательное обучение разрежает карты значимости

Карты значимости, построенные по градиенту, у сетей после состязательного обучения выглядят заметно чище: вместо шумного пятна остаются немногие яркие пиксели. Эту картину наблюдали эмпирически, но убедительного объяснения не было. Препринт arXiv:2610.10666 предлагает строгое доказательство для двухслойных ReLU-сетей: разреженность возникает из геометрии ℓ∞-атак, которая заставляет модель предпочитать градиенты, выровненные по осям координат.

Откуда берётся разреженность

Исходная точка работы — известный результат. Для ряда функций потерь состязательное обучение эквивалентно минимизации обычного эмпирического риска с двумя добавками: штрафом weight decay и членом adversarial total variation. Второй член, по сути, штрафует модель за крутизну функции, но делает это с учётом того, какой нормой ограничена атака.

Дальше идёт ключевой шаг. При ℓ∞-атаке возмущение живёт в кубе, и худший случай в первом приближении определяется ℓ1-нормой градиента, то есть нормой, двойственной к ℓ∞. Это моя интерпретация, а не цитата из статьи, но она хорошо согласуется с выводом авторов: штраф такого типа работает подобно LASSO и предпочитает градиенты с небольшим числом ненулевых компонент. Авторы формулируют это как анизотропию нормы градиента: направления вдоль осей «дешевле» диагональных.

Что именно доказано

Теорема асимптотическая. Число точек данных и число нейронов растёт, параметры регуляризации одновременно стремятся к нулю с подходящей скоростью. В пределе минимизаторы сходятся к байесовскому классификатору, который среди всех подходящих выбирается по минимальной норме градиента и минимальной норме Баррона. Норма Баррона измеряет сложность функции, которую способна аппроксимировать двухслойная сеть, поэтому условие по сути выбирает самое простое решение в классе.

Ключевые элементы результата:

• архитектура: двухслойные сети с ReLU;
• обучение: состязательное, атаки ограничены нормой ℓ∞;
• предел: рост выборки и ширины сети, регуляризация стремится к нулю;
• итог сходимости: байесовский классификатор с минимальными градиентом и нормой Баррона;
• следствие: анизотропия градиентной нормы даёт разреженные, выровненные по осям градиенты.

Экспериментальная часть скромнее теории. Авторы сравнивают у естественно и состязательно обученных моделей ℓ1-норму градиента и разреженность после применения порога. Конкретных чисел в аннотации нет, так что масштаб эффекта придётся смотреть в полном тексте.

Где граница применимости

Ограничений несколько, и они существенные. Двухслойная ReLU-сеть далека от современных свёрточных сетей и трансформеров для зрения. Условие на функции потерь сужает область, где работает эквивалентность. Асимптотика по данным и ширине не гарантирует поведения на конечных выборках. Наконец, это препринт без рецензии.

Есть и концептуальная оговорка. Разреженная карта значимости выглядит убедительно, но из этого не следует, что она точнее отражает логику модели. Возможно, сеть просто отказалась от части признаков ради устойчивости, и «чистота» карты отражает потерю информации, а не ясность объяснения.

Что проверить на практике

Если вы используете градиентные карты значимости для аудита моделей, сравнивайте их с учётом способа обучения. Сравнение карт естественной и устойчивой моделей по визуальной «аккуратности» вводит в заблуждение: часть эффекта задаётся нормой атаки. Простая проверка — посчитать ℓ1-норму градиента и долю компонент выше порога, как это делают авторы, и сравнить обе модели на одних и тех же входах. Для ℓ2-атак стоит ожидать другой геометрии, и вывод про оси к ним переносить нельзя. Для безопасного развёртывания полезно дополнять градиентные карты методами, которые не зависят от одной нормы, например перестановочными тестами и удалением признаков.