Нейросети оказались модульнее, чем видно по нейронам: три уровня проверки

Считается, что нейросети плохо поддаются разбору на части: один нейрон участвует в нескольких разных функциях, и вывод напрашивается сам. Модульной организации в таких сетях нет. Авторы препринта arXiv:2610.12842 с этим не согласны. Они вводят вложенную иерархию из трёх уровней модульности и показывают на моделях зрения, языковых моделях и многозадачных рекуррентных сетях, что сети без модулей на уровне нейронов часто имеют чёткие функциональные модули на уровне подпространств.

Три уровня вместо одного вопроса

Главная идея работы в том, что вопрос «модульна ли сеть» поставлен слишком грубо. Если требовать, чтобы разные вычисления занимали непересекающиеся нейроны, большинство сетей этот тест провалит. Но это самый жёсткий из возможных критериев. Авторы выстраивают три критерия, каждый из которых мягче предыдущего:

• Unit-level. Разные вычисления занимают непересекающиеся наборы нейронов. Это классическое понимание модуля.
• Orthogonal. Существует поворот пространства активаций, после которого видны функционально независимые подпространства.
• Linear. Ограниченное линейное отображение разделяет вычисления, важные для задачи, на независимые подпространства.
• Проверка. Для каждого уровня разработан метод обучения разложения. Результат оценивается причинно, через селективную абляцию: удаляют подпространство и смотрят, какая функция пострадала.

Уровни вложены друг в друга. Модульность на уровне нейронов влечёт ортогональную, а та влечёт линейную. Обратное неверно, и именно в этом зазоре авторы находят эффект.

Что нашли на практике

В моделях зрения подпространства контента и стиля разделяются при абляции, хотя используют перекрывающиеся популяции нейронов. В языковых моделях то же происходит с синтаксисом и семантикой: удаление одного подпространства не ломает другое.

В работе есть и сравнение с нейробиологией. Выученные подпространства по-разному совпадают с данными мозга. Подпространства контента лучше предсказывают активность высших зон зрительной коры, подпространства стиля лучше предсказывают низшие. Семантические подпространства точнее синтаксических предсказывают активность языковой коры. Это косвенный довод в пользу того, что найденное разделение отражает устройство самой задачи, а не артефакт метода.

Третий случай — RNN, обученные сразу на нескольких когнитивных задачах. Раньше их считали немодульными. Предложенное разложение выявило между задачами резкие двойные диссоциации: удаление одного подпространства ломает одну задачу и не трогает другую, а удаление другого действует наоборот. Двойная диссоциация считается в нейронауке сильным свидетельством разделения функций.

Что это даёт интерпретируемости

Практический вывод для тех, кто занимается механистической интерпретируемостью: не нужно искать нейрон, отвечающий за конкретное свойство. Вмешательство можно проводить на уровне подпространства. Если разложение найдено, вычисление можно выключить или изменить точечно, даже когда ни один отдельный нейрон не специализирован. Для безопасности и контроля поведения моделей это более реалистичная точка приложения, чем поиск «нейронов понятий».

Стоит учитывать ограничения. Это препринт без рецензирования, а в аннотации нет ни названий протестированных моделей, ни количественных результатов, поэтому масштаб эффекта оценить нельзя. Остаётся и вопрос, насколько найденные подпространства устойчивы на больших современных LLM и насколько они зависят от того, какие функции исследователи заранее задали. Метод требует разметки вычислений, например контент против стиля, и не открывает модули сам по себе.

Для практиков вывод такой: при разборе модели стоит проверять все три уровня, а не останавливаться на отсутствии нейронной модульности. Полный текст с деталями реализации нужно смотреть в самом препринте.