Anthropic открыла окно в мышление Claude: инструмент Jacobian lens ловит скрытые концепции
Anthropic представила Jacobian lens — инструмент интерпретируемости, который открывает чёрный ящик LLM. Инструмент показывает, какие концепции активируются в промежуточных слоях Claude при ответе на вопрос. От мирского до необычного: модель создаёт скрытые представления идей, которые не видны в обычном выводе. Это даёт наивный взгляд на то, как LLM «думают».
AI-обработка оригинала MIT Technology Review; редакция Hamidun News
Anthropic разработала технику Jacobian lens (линза Якобиана), которая даёт самый ясный до сих пор взгляд на то, что происходит внутри Claude, когда она отвечает на вопросы или выполняет задачи.
Что находят
Когда Claude отвечает на вопрос, Jacobian lens показывает активацию в промежуточных слоях. Результаты варьируются от повседневных (активация слоя, связанного с числами при решении мата) до необычных (скрытые концепции, которые нет в явном выводе).
Как работает
Вместо просмотра весов и активаций вслепую, инструмент использует математику Якобиана (матрица производных) для отслеживания того, как изменения входа влияют на промежуточные представления. Это позволяет:
- Видеть, какие абстрактные концепции модель активирует
- Проследить путь логики от входа к выходу
- Понять, какие ошибочные цепочки рассуждения приводят к неправильным ответам
Значение для безопасности
Открытие скрытых концепций важно для AI-безопасности: если мы видим, что модель активирует опасные концепции, даже если итоговый ответ безопасен, мы можем это исправить.
- 25 окт. 2026 г.Anthropic показала, как заставить Claude кодить сутками: список из 200+ задач в JSON
- 25 окт. 2026 г.Anthropic описала evals для ИИ-агентов: три типа грейдеров и SWE-bench с 40% до 80%
- 25 окт. 2026 г.Anthropic трижды переписывала тестовое: Claude Opus 4.5 догнал лучших инженеров
- 25 окт. 2026 г.Anthropic назвала GLM-5.3 серьёзной киберугрозой и вновь разожгла спор об открытых моделях
Вопросы и ответы по материалу
Что известно по теме: что находят?
Когда Claude отвечает на вопрос, Jacobian lens показывает активацию в промежуточных слоях. Результаты варьируются от повседневных (активация слоя, связанного с числами при решении мата) до необычных (скрытые концепции, которые нет в явном выводе).
Что известно по теме: как работает?
Вместо просмотра весов и активаций вслепую, инструмент использует математику Якобиана (матрица производных) для отслеживания того, как изменения входа влияют на промежуточные представления. Это позволяет: Видеть, какие абстрактные концепции модель активирует Проследить путь логики от входа к выходу Понять, какие ошибочные цепочки рассуждения приводят к неправильным ответам
Что известно по теме: значение для безопасности?
Открытие скрытых концепций важно для AI-безопасности: если мы видим, что модель активирует опасные концепции, даже если итоговый ответ безопасен, мы можем это исправить.
Системное обучение работе с ИИ и AI-агентами
Образовательная платформа Vibe Academy (vibe-academy.ru) — практические курсы, промпт-инжиниринг, автоматизация процессов и прикладные AI-воркфлоу.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.