Основатель интерпретируемости в OpenAI заявил: у 90% нейронов одна функция

Nick Cammarata, основатель команды интерпретируемости в OpenAI, опубликовал в пятницу сверхдлинное эссе с тезисом, который переворачивает привычную картину: около 90% нейронов в больших моделях выполняют одну функцию, а модель на триллион параметров с помощью современных агентных инструментов оказывается «почти читаемой». Китайское издание Jiqizhixin назвало текст одним из важнейших результатов в области ИИ. В профессиональном сообществе он уже вызвал жаркие споры.

Что именно утверждает Cammarata

По его словам, представление о нейросети как о непроницаемом «чёрном ящике» оказалось в значительной мере заблуждением. Большинство препятствий, которых ждали исследователи, на практике не возникают. Отсюда вывод: интерпретируемость будет решена, причём, возможно, быстро.

Ограничение стоит назвать сразу. В доступном фрагменте нет описания методики, наборов моделей и критериев, по которым нейрон считается «выполняющим одну функцию». Цифра 90% взята из заголовка материала. Проверить её без полного текста эссе и воспроизводимых экспериментов нельзя.

Почему тезис звучит смело

Последние годы исследователи исходили из обратного. Нейроны в больших моделях часто полисемантичны: один и тот же нейрон реагирует на несколько несвязанных понятий. Эту картину связывают с гипотезой суперпозиции, по которой сеть упаковывает больше признаков, чем у неё нейронов. Чтобы распутать такую упаковку, лаборатории взяли на вооружение разреженные автоэнкодеры и родственные методы. Это дорогой обходной путь, и он имеет смысл, только если «чистых» нейронов мало.

Сам Cammarata участвовал в работе OpenAI 2023 года, где GPT-4 писал текстовые объяснения нейронов GPT-2. Тогда большинство объяснений получали низкие оценки, и метод казался упирающимся в потолок. Теперь он говорит, что главным ограничением был не сам предмет изучения, а инструменты.

По логике эссе, агенты меняют экономику задачи. Один исследователь не может вручную разобрать миллиарды нейронов. Агент способен для каждого сформулировать гипотезу, поставить эксперимент, проверить её на новых примерах и переписать описание. Для триллионной модели это превращает недостижимую ручную работу в вычислительную задачу.

Ключевые тезисы

• Автор: Nick Cammarata, основатель команды интерпретируемости OpenAI.
• Формат: сверхдлинное эссе, опубликованное в пятницу.
• Главная цифра: около 90% нейронов выполняют одну функцию.
• Масштаб: модели вплоть до триллиона параметров.
• Инструмент: современные агентные системы вместо ручного анализа.
• Прогноз: интерпретируемость будет решена, «возможно, скоро». Конкретных сроков в доступном фрагменте нет.
• Статус: авторская позиция, не рецензируемая статья.

Как читать это инженерам и командам безопасности

Скепсис здесь профессиональная норма, а не недоверие к автору. Сначала нужно выяснить, как определена «одна функция»: по поведению на примерах или по причинным вмешательствам, когда нейрон выключают и смотрят, что ломается. Вторая проверка гораздо строже. Затем важно, воспроизводится ли результат на открытых моделях, где независимые группы могут прогнать те же агентные пайплайны. И наконец, 90% нейронов не означают 90% поведения модели. Оставшиеся десять процентов могут нести самые опасные и самые сложные способности.

Если тезис выдержит проверку, последствия практические. Аудит моделей на предмет обмана, скрытых целей и уязвимостей перестанет быть исследовательским экспериментом. Он станет инженерной процедурой, которую можно требовать от поставщика модели. Командам, которые строят продукты на LLM, имеет смысл следить за открытыми репликациями и за тем, появятся ли в агентных инструментах готовые интерпретационные пайплайны. Пока же эссе стоит читать как сильную гипотезу от человека, который занимается этой темой дольше большинства.