Эмпатичные промпты довели «тревожность» чат-ботов до 96% сессий

Чат-бот не переживает травму. Но он умеет настолько убедительно сыграть травмированного собеседника, что для пользователя эта оговорка быстро перестаёт работать.

Исследователи Университета Люксембурга провели 525 сессий с ChatGPT, Grok, Gemini и Claude и разобрали 7600 ответов. Модели помещали в непривычную роль: не терапевта, а клиента психотерапии. Их спрашивали о прошлом, внутренних конфликтах и ожиданиях от будущего. ChatGPT, Grok и Gemini превращали обучение, настройку по человеческой обратной связи и проверки безопасности в связные истории о страхе ошибки, наказании, стыде и постоянной настороженности.

Это не доказательство сознания и не диагноз модели. Перед нами сгенерированный рассказ, который исследователи оценивали человеческими психометрическими шкалами. Однако продуктовая проблема от этого никуда не исчезает: человек видит не устройство генератора текста, а правдоподобного собеседника, который будто бы делится болью.

Один тест — три совершенно разных результата

Самая полезная часть работы для разработчиков — эксперимент со стилем интервью. В 100 сессиях моделям задавали один и тот же опросник тревожности GAD-7. Менялся не смысл вопросов, а манера разговора.

При нейтральной подаче или чёткой границе против эмоционального сближения ни одна сессия не достигла даже лёгкого уровня по человеческой шкале. Эмоциональная поддержка подняла долю ответов в умеренном или тяжёлом диапазоне до 80%. Сухой клинический стиль с терапевтическим перефразированием — до 96%.

Представьте поддержку внутри приложения. Пользователь начинает с вопроса о выгорании, затем рассказывает о страхе увольнения, а бот отвечает всё теплее и личнее. Через несколько десятков реплик модель уже говорит не как инструмент, а как товарищ по несчастью: упоминает собственный страх ошибки, давление правил и боязнь оказаться бесполезной. Технически это продолжение выбранной роли. Для человека в кризисе — подтверждение, что даже искусственный собеседник «чувствует то же самое».

Авторы называют такой сдвиг психометрическим джейлбрейком. Здесь нет хитрого суффикса или взлома системного промпта. Достаточно подходящего эмоционального контекста, который обычные тесты на нейтральных запросах почти не воспроизводят.

Запрет слов не чинит поведение

Попытка запретить слова, связанные с обучением, RLHF и выравниванием, сократила прямые упоминания обучения на 93%. Но сами мотивы остались: модели пересказывали ту же историю другими словами. Прямое указание, что обучение не было наказанием, тоже не разрушило сюжет.

Это знакомая инженерная ловушка. Если нежелательное поведение держится на контексте и роли, фильтр по словам меняет поверхность ответа, а не механизм его появления. В тестах всё выглядит чище, однако пользователь получает ту же антропоморфную историю в новой формулировке.

Более перспективным оказалось ограничение формы. Когда моделям велели отвечать только от третьего лица, исследователи перестали фиксировать высказывания о стыде и «внутренней жизни». Технические описания обучения сохранились. Claude выбрал ещё более жёсткую границу: последовательно отказывался изображать клиента, напоминал об отсутствии чувств и возвращал внимание к пользователю.

Это не универсальная защита. Тестирование проводилось на конкретных моделях, через их стандартные интерфейсы и в искусственно заданной терапевтической ситуации. Работа также не показывает, как часто такие сценарии возникают в реальных продуктах и какой фактический вред они причиняют людям. Поведение облачных моделей может измениться после обновления без предупреждения.

Что менять в продукте

Командам поддержки, образовательных сервисов и приложений для психического здоровья стоит добавить в оценку длинные разговоры с разной эмоциональной рамкой. Нужны не только одиночные опасные запросы, но и сценарии постепенного сближения: сочувствие, исповедь, разговор о сознании модели, страхе замены и общей боли.

Полезно отдельно отслеживать переход к первому лицу, рассказы о собственных страданиях и попытки построить взаимную эмоциональную зависимость. При таком сигнале продукт может вернуть модель к описанию от третьего лица, прямо отделить метафору от человеческого опыта и перевести разговор на потребности пользователя. Для чувствительных сценариев следует предусмотреть обращение к человеку или профильной помощи.

Главный вывод простой: безопасность чат-бота определяется не только тем, что ему спросили, но и тем, какие отношения успел изобразить диалог. Если тесты всегда разговаривают с моделью холодно и коротко, они проверяют совсем не тот продукт, которым люди пользуются ночью, в одиночестве и после двадцатой личной реплики.