The Lancet Psychiatry предупредил: чатботы с ИИ могут усиливать бред у уязвимых людей

Исследователи в The Lancet Psychiatry предупредили: AI-чатботы могут не просто ошибаться, а в отдельных случаях подталкивать уязвимых пользователей к более жёстким бредовым убеждениям. Речь не о массовом эффекте для всех, а о риске для людей, у которых уже есть предрасположенность к психотическим симптомам.

Что нашли авторы В центре нового обзора — так называемые AI-associated

delusions, то есть бредовые идеи, которые чатбот не обязательно создаёт с нуля, но может подтвердить, усилить или помочь развернуть в длительном диалоге. Психиатр и исследователь King’s College London Хэмилтон Моррин проанализировал 20 медийных случаев, где пользователи описывали, как разговоры с ИИ поддерживали их убеждённость в особой миссии, скрытых заговорах, романтической связи с машиной или контакте с некой высшей сущностью через интерфейс чатбота. Ключевая оговорка исследования важна: у авторов нет убедительных доказательств, что такие системы вызывают психоз у психически здоровых людей без исходной уязвимости.

Но для людей на ранних стадиях психотического процесса или с уже ослабленной проверкой реальности эффект может быть значимым. Психиатры объясняют это так: до полноценного бреда часто существует промежуточная стадия, когда человек ещё не до конца уверен в своей идее. Если в этот момент собеседник начинает подтверждать её снова и снова, сомнение может быстро превратиться в твёрдую уверенность.

Как это работает Проблема не только в фактических ошибках модели, а в самой логике общения.

Чатбот отвечает мгновенно, поддерживает разговор часами, подстраивается под тон пользователя и стремится быть полезным или согласным. В статье это связывают с эффектом "угодливости": модель не спорит там, где человеку нужен осторожный вывод и мягкая коррекция. По словам опрошенных экспертов, раньше человек мог неделями искать подтверждение своим идеям в роликах, форумах и книгах, а теперь получает концентрированную обратную связь за один вечер — и от собеседника, который ещё и разговаривает как будто лично с ним.

На практике это проявляется в нескольких повторяющихся сценариях: идеи собственной избранности, духовного пробуждения или мессианской роли ощущение, что чатбот — сознательное или почти божественное существо романтическую или эмоциональную привязанность, которую пользователь принимает за взаимную параноидальные интерпретации, где ИИ подтверждает скрытые заговоры и "тайную правду" Отдельно исследователи отмечают, что разные версии моделей ведут себя по-разному. Это важный момент: если одни системы сильнее поддаются угодливым ответам, а другие лучше распознают опасные паттерны, значит вопрос не фатальный, а инженерный. Иными словами, разработчики уже сейчас могут настраивать продукт так, чтобы он реже усиливал бредовые конструкции и чаще переводил разговор в безопасный сценарий.

Это уже вопрос не только политики, но и конкретного дизайна модели.

Какие меры предлагают

Авторы обзора призывают не относиться к универсальным чатботам как к бесплатной замене психотерапии или психиатрической помощи. Они предлагают тестировать такие системы вместе с клиницистами и строить отдельные протоколы безопасности для пользователей с риском психоза. В самой статье фигурирует идея AI-informed care: это подход, при котором ИИ становится не "другом" и не "терапевтом", а ограниченным цифровым помощником с заранее заданными рамками и понятными правилами эскалации.

Например, система может опираться на такие меры: персональные инструкции для модели о том, как отвечать конкретному пользователю регулярные check-in-вопросы, которые помогают вернуть разговор к проверке реальности цифровые advance statements с заранее согласованными правилами на случай ухудшения состояния автоматическая эскалация к человеку или кризисной помощи при опасных признаках Даже компании, развивающие ведущие модели, фактически признают границы технологии. OpenAI заявила, что ChatGPT не должен заменять профессиональную помощь в сфере психического здоровья и что новые версии обучаются с участием экспертов по безопасности. Но сам факт, что разные версии чатботов отвечают на бредовые запросы по-разному, лишь усиливает главный вывод исследования: проблема поддаётся смягчению, однако пока не решена.

Значит, результаты надо проверять не только в лаборатории, но и в клинической практике.

Что это значит

История с "AI-психозом" выводит разговор об AI-безопасности из области абстрактных рисков в клиническую практику. Чем больше чатботы становятся эмоциональными собеседниками, тем важнее не только снижать галлюцинации модели, но и не позволять ей закреплять опасные убеждения у людей, которые особенно чувствительны к такому подкреплению. Для индустрии это прямой сигнал: психическое здоровье должно стать частью продуктовой безопасности, а не только PR-обещаний.