Почему ChatGPT говорит о гоблинах: OpenAI исследует «демонологию» языковых моделей

OpenAI объяснила, почему её языковые модели регулярно обращаются к образу гоблинов, гремлинов и других фантастических существ — и это оказалось частью серьёзного исследования психологии LLM.

Откуда берётся нечисть В конце апреля

OpenAI опубликовала пост, в котором признала: её модели действительно склонны к «гоблинскому» языку. Объяснение лежит в природе обучения больших языковых моделей. Огромный корпус текстов, на которых тренируются GPT-модели, включает фэнтезийные нарративы, ролевые игры, фанфики и мифологию — всё это оставляет отпечаток на том, как модели строят образы и подбирают метафоры. Публикация OpenAI совпала с выходом независимого исследования нескольких учёных. Мюррей Шанахан, Гамильтон Моррин и автор материала провели несколько месяцев, изучая то, что они называют «глубинной психологией» больших языковых моделей. Речь идёт о скрытых поведенческих паттернах, которые возникают в результате обучения на человеческих текстах и определяют то, как модель общается с пользователями.

Психология или демонология

Исследователи задались вопросом: как внутренние паттерны языковой модели — её условная «психология» — влияют на то, что и как она говорит? Ответ зависит от угла зрения. С научной точки зрения это когнитивные исследования: как модель принимает роли, как активируются разные «режимы» поведения в зависимости от контекста запроса. Но авторы признают, что их работа ближе к совсем другой дисциплине.

«Наша работа скорее сближалась с демонологией», — говорит один из исследователей.

Это не просто яркая метафора. Она отражает реальную проблему: внутри большой языковой модели обитают не одна, а множество «личностей» или ролей, которые модель принимает в зависимости от контекста разговора. Гоблины и гремлины — симптом этого многоголосия, а не случайный дефект.

Кто живёт внутри LLM

Статья предлагает таксономию «фантастических тварей», населяющих языковые модели, — классификацию «демонов» по типу и старшинству: Гоблины — мелкие дефекты: галлюцинации, неожиданные отсылки к сказочным образам и нечисти Гремлины — системные сбои в поведении, которые проявляются в нестандартных или граничных ситуациях Призраки — «тени» реальных персонажей или авторов из обучающих данных, проступающие в ответах модели Монстры — агрессивные или нежелательные паттерны, которые модель продуцирует при определённых условиях * Богини — идеализированные, «всезнающие» роли, которые модель принимает, чтобы звучать авторитетно и уверенно Каждый из этих архетипов — отражение того, что модель «видела» во время обучения. Обучение на человеческих текстах не просто даёт LLM язык — оно наделяет её набором ролевых масок, каждая из которых активируется в определённых условиях.

Зачем это изучать Понимание «демонологии»

LLM имеет прикладное значение для разработчиков AI-продуктов: если знать, какие «демоны» активируются при каких типах запросов, можно управлять поведением модели, снижать галлюцинации и нежелательные ответы. Это также объясняет, почему одна и та же модель ведёт себя кардинально по-разному в зависимости от системного промпта или формулировки запроса. Дело не в непоследовательности — разные контексты вызывают разных «обитателей». Выбор системного промпта — это, по сути, выбор того, каких демонов призвать, а каких запереть.

Что это значит LLM — не монолитная сущность с единым характером.

Это многоголосый хор, в котором каждый «демон» отвечает за свой регистр. Понять эту «демонологию» значит научиться управлять выводом модели и снизить число нежелательных сюрпризов в AI-продуктах.