Оксфорд выложил 180-страничный учебник по интерпретируемости нейросетей с кодом

Мы давно привыкли к странной ситуации: модель отвечает правильно, а почему именно так — не знает никто. Ни разработчик, ни продакт, ни иногда даже авторы самой модели. Когда она вдруг начинает льстить пользователю, выдумывать факты или обходить ограничения, чаще всего мы лечим симптом: правим промпт, дообучаем, добавляем фильтр. Механистическая интерпретируемость предлагает другой подход: открыть модель и посмотреть, какие внутренние механизмы за это отвечают.

Исследователи из University of Oxford и других научных организаций опубликовали большой обзор на 180 страниц, который собирает эту область в один учебник. Он ориентирован на безопасность ИИ. К нему приложены интерактивный курс и Jupyter Notebooks с практическими экспериментами.

Что внутри учебника

По описанию авторов, материал строится вокруг четырёх блоков.

Первый — superposition и transformer circuits. Идея в том, что нейронов в сети меньше, чем понятий, которые ей нужно хранить. Поэтому один нейрон часто участвует сразу в нескольких смыслах, и по отдельному нейрону мало что можно понять. Раздел объясняет, как сети кодируют информацию и как из этого складываются вычисления.

Второй — sparse autoencoders (SAE). Это метод, который берёт внутренние представления модели и раскладывает их на более «чистые» признаки. Вместо запутанного вектора активаций вы получаете набор понятных направлений, условно «это про код» или «это про извинения». Такие признаки уже можно искать, сравнивать и отслеживать.

Третий — circuit discovery. Здесь речь о том, как найти небольшую часть сети, которая отвечает за конкретное поведение, и проверить, что она действительно за него отвечает, а не просто совпала по времени.

Четвёртый — прикладная часть про безопасность: steering (управление поведением модели), редактирование знаний и мониторинг скрытых механизмов.

Почему это стоит открыть практику

Обычно интерпретируемость выглядит как набор статей, которые нужно собирать по кусочкам. Здесь есть единая структура и код, который можно запустить и потрогать. Для инженера это снижает порог входа: можно взять небольшую открытую модель, прогнать эксперимент из ноутбука и увидеть, как выглядит «признак» внутри сети.

Вот где это может пригодиться на практике:

• Если вы разворачиваете open-weights модели, вам доступны активации, а значит, доступны и методы вроде SAE и steering. Для закрытых API такого доступа обычно нет, и это важное ограничение.
• Если вы отвечаете за качество или безопасность продукта, мониторинг внутренних признаков может дополнить внешние проверки вроде тестов и фильтров. Это идея, а не готовый рецепт, и учебник показывает, с чего начинать.
• Если вы продакт или основатель, курс поможет понимать, что именно обещают исследователи интерпретируемости и где заканчивается реальность.

Ограничения, о которых говорят сами авторы

Главное, что стоит отметить: обзор не продаёт интерпретируемость как волшебную кнопку. Авторы прямо рассматривают ограничения существующих методов и подчёркивают, что понимание внутренних механизмов само по себе ещё не гарантирует безопасность модели. Увидеть, что в сети есть «признак обмана», — не то же самое, что надёжно его отключить и быть уверенным, что поведение не вернётся другим путём.

К тому же это учебник и обзор, а не новый инструмент, который завтра встанет в ваш пайплайн. Если вы ищете готовое решение для продакшена, здесь его нет. Зато есть карта территории, и по ней удобно ориентироваться, когда очередной релиз заявит, что «мы научились понимать, как думает модель».

Что делать

Если вы работаете с моделями глубже уровня API, сохраните ссылки на arXiv-препринт 2611.08438 и интерактивный курс. Выделите вечер на ноутбуки и попробуйте на небольшой модели хотя бы один эксперимент с SAE или steering. Даже если в продукт это не попадёт, вы начнёте лучше понимать, что происходит внутри ваших моделей. Чёрный ящик остаётся чёрным ящиком, но теперь у него есть инструкция по вскрытию.