Исследователь Goodfire заявил: нейросети устроены куда проще, чем думали интерпретаторы

Главная новость сегодняшнего выпуска — не очередная модель, а спор о том, насколько вообще понятны нейросети изнутри. Ник Каммарата, работающий в компании Goodfire (которая специализируется на интерпретируемости — расшифровке того, что происходит внутри нейросетей), опубликовал эссе под рабочим названием «нейросети уже чистые». Его тезис: в моделях с триллионами параметров подавляющее большинство нейронов на самом деле читаемы и понятны, если их правильно анализировать.

Откуда взялась проблема «спутанных» нейронов

Много лет один из главных аргументов в пользу того, что нейросети — это чёрный ящик, звучал так: один нейрон часто кодирует не одно понятие, а сразу несколько несвязанных — это называют полисемантичностью. А когда несколько понятий упаковываются в одно и то же пространство весов теснее, чем есть измерений, получается «суперпозиция» — плотный, нечитаемый клубок. Именно на эту проблему ссылались и Anthropic в прошлогодних работах по масштабированию методов интерпретируемости, и сама Goodfire в своём февральском материале.

Каммарата приводит личный опыт: в 2023 году он участвовал в проекте OpenAI по автоматической интерпретации нейронов, и тогда читаемыми по-человечески признали только около 2% нейронов. Казалось бы — доказательство того, что сети непрозрачны. Но теперь, по словам Каммараты, многие из классических «хрестоматийных» примеров полисемантичных нейронов, на которые годами ссылались как на доказательство неразрешимой спутанности, были изначально прочитаны неправильно. При более тщательном анализе — с помощью агентов ИИ, которые систематически перебирают и проверяют гипотезы о назначении каждого нейрона, — выясняется, что большая часть сети на деле устроена чисто и укладывается в понятные человеку концепции.

Почему это важно для безопасности ИИ

Если тезис верен, это напрямую бьёт по «полю беспокойства» (P(doom) — вероятности катастрофического исхода от ИИ) в сообществе безопасности: чем понятнее внутреннее устройство модели, тем проще проверять, что она на самом деле «думает» и «планирует», и тем меньше оснований бояться скрытых, нечитаемых целей. Именно поэтому пост вызвал бурную реакцию — пользователь tszzl и другие заметные голоса в исследовательском твиттере назвали публикацию важным моментом для всей области.

Что говорят критики

Не все согласны. Нил Нанда из DeepMind, один из ведущих специалистов по интерпретируемости, прямо сказал, что эссе Каммараты не меняет его базовых предположений («crux» — ключевых развилок, на которых строится его модель мира): он всё ещё ожидает, что представления в сетях живут в суперпозиции, и считает, что слабые, неглавные активации нейронов тоже несут смысл — например, хранят заученные факты, которые не видны при поверхностном анализе.

Лео Гао сформулировал методологическую претензию: объяснения того, что делает нейрон, нужно проверять не на глаз, а строгим способом — через «симуляцию» нейрона и измерение расхождения (KL-дивергенции) между предсказанным и реальным поведением. Джейк Мендель указал на другую слабость: анализ часто смотрит только на самые сильные активации нейрона и игнорирует «хвост» — более слабые, но тоже значимые срабатывания. А Уилл Пфау из Anthropic напомнил прозаичную деталь: пока это эссе, а не рецензируемая научная статья с полными доказательствами — она ещё не опубликована.

Что это значит на практике

Для инженеров и исследователей, которые занимаются безопасностью и интерпретируемостью моделей, вывод пока промежуточный: появился сильный аргумент в пользу того, что агентные методы анализа (когда не человек разбирает нейрон вручную, а связка агентов ИИ прогоняет десятки гипотез автоматически) могут резко поднять долю «читаемых» компонентов сети по сравнению со старыми ручными методами 2023 года, где показатель был около 2%. Но строгого количественного подтверждения — полноценной статьи с метриками типа KL-дивергенции, которую предлагает измерять Гао, — пока нет. Поэтому разумная позиция сейчас: относиться к тезису Каммараты как к многообещающей, но не доказанной гипотезе, и ждать публикации с воспроизводимой методологией, прежде чем менять оценки рисков или подходы к аудиту моделей.