Anthropic открыла окно в мышление Claude: инструмент Jacobian lens ловит скрытые концепции
Anthropic представила Jacobian lens — инструмент интерпретируемости, который открывает чёрный ящик LLM. Инструмент показывает, какие концепции активируются в промежуточных слоях Claude при ответе на вопрос. От мирского до необычного: модель создаёт скрытые представления идей, которые не видны в обычном выводе. Это даёт наивный взгляд на то, как LLM «думают».
AI-обработка оригинала MIT Technology Review; редакция Hamidun News
Anthropic разработала технику Jacobian lens (линза Якобиана), которая даёт самый ясный до сих пор взгляд на то, что происходит внутри Claude, когда она отвечает на вопросы или выполняет задачи.
Что находят
Когда Claude отвечает на вопрос, Jacobian lens показывает активацию в промежуточных слоях. Результаты варьируются от повседневных (активация слоя, связанного с числами при решении мата) до необычных (скрытые концепции, которые нет в явном выводе).
Как работает
Вместо просмотра весов и активаций вслепую, инструмент использует математику Якобиана (матрица производных) для отслеживания того, как изменения входа влияют на промежуточные представления. Это позволяет:
- Видеть, какие абстрактные концепции модель активирует
- Проследить путь логики от входа к выходу
- Понять, какие ошибочные цепочки рассуждения приводят к неправильным ответам
Значение для безопасности
Открытие скрытых концепций важно для AI-безопасности: если мы видим, что модель активирует опасные концепции, даже если итоговый ответ безопасен, мы можем это исправить.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.