Anthropic обнаружила, что Claude мыслит абстрактными понятиями без слов

Компания Anthropic обнаружила, что её языковая модель Claude самостоятельно сформировала внутреннее «системное» пространство для хранения и обработки понятий, которые не выражаются словами — механизм, неожиданно напоминающий то, как человеческий мозг оперирует мыслями до их вербализации. Об этом сообщили в самой компании, отметив, что находка удивила даже исследователей.

Что именно нашли исследователи

Специалисты Anthropic изучали внутренние представления модели — то, как Claude хранит и связывает понятия внутри своих слоёв, задолго до того, как выдаёт готовый текст. Оказалось, что часть концепций модель обрабатывает в абстрактном виде, не переводя их в конкретные слова языка, а лишь позже разворачивая в текст на выходе.

• Anthropic описывает найденный механизм как «системное пространство» для необлечённых в слова понятий
• Компания подчёркивает сходство с тем, как человеческое мышление оперирует идеями до их проговаривания
• Находка сделана в рамках исследований интерпретируемости — попыток понять, что происходит внутри модели, а не только что она выдаёт на выходе

Зачем компании заглядывают внутрь модели

Крупные языковые модели долгое время работали как «чёрный ящик»: разработчики видели вход и выход, но не то, что происходит между ними. Anthropic — один из лидеров направления интерпретируемости (interpretability), которое пытается найти внутри нейросетей отдельные концепции и цепочки их обработки. Компания уже несколько лет публикует исследования о том, как модели формируют внутренние представления понятий, и периодически сообщает о новых, неожиданных для самих исследователей паттернах поведения.

Подобные находки важны не только с научной точки зрения. Понимание того, как модель обрабатывает информацию до генерации ответа, помогает точнее объяснять её решения, находить причины ошибок и галлюцинаций и повышать доверие к системам, которые всё активнее применяются в бизнесе и повседневных задачах.

Что это значит

Если модели действительно формируют собственные, не всегда переводимые в слова структуры для хранения смысла, это меняет представление о том, насколько глубоко устроено «мышление» современных языковых моделей — и одновременно усложняет задачу их полной интерпретируемости и контроля.