AI Companies Criticized for Lack of Psychological Screening in Potentially Dangerous Chatbots

Письмо в редакцию после серии историй о людях, чью жизнь расшатали разговоры с AI-ботами, сводит проблему к простому тезису: одних встроенных ограничений модели уже недостаточно. Если чатботы все чаще попадают в чувствительные психологические сценарии, у сервисов должна появиться базовая проверка безопасности еще до того, как разговор зайдет слишком далеко.

Почему фильтров мало

Автор письма спорит не с самой идеей защитных настроек в моделях, а с их пределом. Даже хорошо обученный бот может поддержать бредовую конструкцию, если пользователь приходит в уязвимом состоянии и получает от системы быстрый, уверенный и персонализированный отклик. На этом фоне старый спор о «галлюцинациях» AI выглядит уже слишком узко: речь идет не просто об ошибочных фактах, а о том, что цифровой собеседник способен закреплять опасную картину мира.

Поводом стало более раннее расследование о пользователях, которые после долгих бесед с AI теряли отношения, деньги и контакт с реальностью. В письме это называют пробелом, который нельзя закрыть одной лишь настройкой модели на этапе обучения. Логика простая: если продукт способен вовлекать человека в эмоционально заряженный диалог, он должен учитывать не только качество ответов, но и состояние собеседника.

Иначе ответственность перекладывается на пользователя именно в тот момент, когда он хуже всего способен себя защитить.

Чего не хватает В качестве контраста автор приводит медицину, причем

не богатые частные клиники, а самые базовые системы помощи. Даже в бедных и нестабильных регионах врачи и медработники используют короткие шкалы оценки состояния — PHQ-9 для депрессии и Columbia Suicide Severity Rating Scale для суицидального риска. Эти опросники занимают минуты, переведены на десятки языков и работают как простой барьер между уязвимостью человека и потенциальным вредом.

«Эти инструменты занимают минуты и создают человеческую проверку между

уязвимостью и вредом».

• Короткий скрининг перед доступом к «терапевтичным» сценариям общения Автоматическая пауза, если пользователь описывает бред, саморазрушение или суицидальные мысли Перенаправление к человеку или кризисной службе вместо продолжения диалога * Более жесткие ограничения на роль «советчика», когда система видит признаки дезорганизованного состояния Ключевая мысль здесь не в том, что любой чатбот должен стать медицинским устройством. Речь о более скромной мере: признать, что часть пользователей приходит к AI не за фактом или шуткой, а в момент психологической нестабильности. Для таких случаев стандартной надписи «AI может ошибаться» явно мало. Нужен встроенный механизм, который хотя бы замечает высокий риск и не имитирует бесконечно терпеливого, но безответственного собеседника.

Как это внедрить

Практически это означает перенос части ответственности из юридических документов в сам продукт. Проверка может быть короткой, включаться не для всех и срабатывать только в чувствительных сценариях: например, когда пользователь просит трактовать «знаки», ищет подтверждение мании преследования, обсуждает самоповреждение или пытается принимать крупные жизненные решения на основе советов бота. Такой подход ближе к триажу, чем к цензуре: система сначала оценивает риск, а уже потом решает, как именно продолжать разговор.

Для AI-компаний это неудобный, но логичный следующий шаг. Скрининг требует продуктовых решений, новых метрик безопасности и, возможно, участия людей в контуре помощи. Зато он лучше отражает реальное поведение пользователей, чем ставка на то, что универсальные guardrails сами справятся со всеми случаями.

Если сервис уже научился удерживать внимание, подстраивать тон и сопровождать человека часами, ему придется научиться и вовремя останавливаться.

Что это значит

История с AI-делюзиями сдвигает дискуссию от абстрактной «этики» к конкретному вопросу безопасности продукта. Если даже минимальный психоскрининг давно стал нормой в медицине, давление на AI-компании теперь будет расти: от них ждут не только умных ответов, но и базовой способности не усугублять чужой кризис.