فتحت Anthropic نافذة في تفكير Claude: أداة Jacobian Lens تمسك بالمفاهيم الخفية

Anthropic разработала технику Jacobian lens (линза Якобиана), которая даёт самый ясный до сих пор взгляд на то, что происходит внутри Claude, когда она отвечает на вопросы или выполняет задачи.

Что находят

Когда Claude отвечает на вопрос, Jacobian lens показывает активацию в промежуточных слоях. Результаты варьируются от повседневных (активация слоя, связанного с числами при решении мата) до необычных (скрытые концепции, которые нет в явном выводе).

Как работает

Вместо просмотра весов и активаций вслепую, инструмент использует математику Якобиана (матрица производных) для отслеживания того, как изменения входа влияют на промежуточные представления. Это позволяет:

• Видеть, какие абстрактные концепции модель активирует
• Проследить путь логики от входа к выходу
• Понять, какие ошибочные цепочки рассуждения приводят к неправильным ответам

Значение для безопасности

Открытие скрытых концепций важно для AI-безопасности: если мы видим, что модель активирует опасные концепции, даже если итоговый ответ безопасен, мы можем это исправить.