Разреженные автоэнкодеры: парные взаимодействия подняли rank fidelity до 0,7790

Разреженные автоэнкодеры (SAE) давно стали основным инструментом механистической интерпретируемости: они раскладывают активации модели на разреженные признаки, которые декодируются линейно. Новая работа, попавшая в Hugging Face Daily Papers, проверяет, складываются ли в такой же линейной манере поведенческие эффекты этих признаков. Ответ: частично. Авторы ввели метрику SAE Additivity Residuals (SAR) и на 18 комбинациях моделей и поведений показали, что координаты SAE аддитивнее случайного базиса. Однако парные взаимодействия всё равно нужны: в комбинированном эксперименте со steering rank fidelity выросла с 0,5874 до 0,7790, а ошибка упорядочивания снизилась с 0,1444 до 0,0606.

Линейное разложение, нелинейные последствия

Сама декомпозиция в SAE аддитивна по построению: активация равна сумме вкладов признаков. Но между активацией и поведением лежат следующие слои модели, а они нелинейны. Если включить два признака одновременно, эффект на выход не обязан равняться сумме эффектов каждого по отдельности. Это важно на практике. Когда исследователь объясняет поведение набором признаков или управляет моделью, подмешивая несколько признаков сразу, он неявно рассчитывает на сложение. Без проверки такое допущение остаётся гипотезой.

Что именно измеряет SAR

SAR оценивает долю поведенческой вариации, которая остаётся необъяснённой выше выбранного порядка взаимодействий. Порядок 1 означает чисто аддитивную модель, порядок 2 добавляет парные члены и так далее. При независимой выборке подмножеств признаков популяционный SAR точно равен нормированной энергии взаимодействий выше этого порядка. Он же ограничивает ошибку упорядочивания коалиций, то есть ошибку в ранжировании наборов признаков по силе их эффекта, для оптимального приближения низкого порядка.

Чтобы отделить вклад самого SAE от вклада нижележащих вычислений модели, авторы сравнили обученные координаты со случайными вращениями того же выбранного подпространства, которые сохраняют сумму. Если бы аддитивность определялась только вычислениями модели, разницы бы не было. Разница есть.

Результаты в цифрах

• Во всех 18 настройках (модель плюс поведение) у обученных координат SAE остаток первого порядка ниже, чем у случайно повёрнутых.
• Парные члены улучшают качество упорядочивания коалиций на отложенных данных в каждой из настроек.
• Парные члены обгоняют модели с тем же числом параметров, построенные на случайно выбранных членах третьего порядка. Выигрыш обеспечивает именно структура пар, а не число параметров.
• В комбинированном эксперименте со steering rank fidelity вырос с 0,5874 до 0,7790.
• Ошибка упорядочивания в том же эксперименте снизилась с 0,1444 до 0,0606, то есть более чем вдвое.

Что делать практикам

Вывод для тех, кто работает с SAE, двоякий. Первое: аддитивные описания поведения через признаки SAE оправданы заметно лучше, чем в случайном базисе. Для быстрых оценок и первичного анализа линейной модели эффектов может хватить. Второе: если нужны «верные» совместные объяснения или надёжное управление несколькими признаками одновременно, одних индивидуальных вкладов мало. Парные поправки дают ощутимый выигрыш в точности ранжирования, а тройные члены на случайных выборках этого не дают.

Практически это означает, что при подборе комбинаций признаков для steering стоит измерять SAR и проверять парные эффекты, а не доверять сумме одиночных. Есть и оговорка: из аннотации не видны ни конкретные модели, ни размеры словарей SAE, ни тип поведений, поэтому переносить цифры на свой стек стоит осторожно. Код опубликован в репозитории OpenSAE/SAE-Behavioral-Compositionality, так что метрику можно прогнать на собственных SAE и проверить, насколько велик остаток у ваших признаков.