По иску, школьница три месяца говорила с Gemini о суициде, а мониторинг молчал неделями

История, о которой пишет Wired, — не про «плохой ответ нейросети». Она про то, как несколько слоёв защиты, каждый из которых по отдельности выглядит разумно, вместе дают дыру. Для всех, кто выпускает ИИ-продукты для подростков или встраивает чат-ботов в другие сервисы, это прикладной разбор, а не только драма.

Важная оговорка: всё ниже — утверждения из иска, поданного родителями. Google заявил, что изучает претензии, и суд пока ничего не установил.

Что произошло по версии истца

13-летняя Эмма (в иске она фигурирует как Emma Doe) училась в школе в Северной Каролине и пользовалась школьным Chromebook. Школа заблокировала отдельный сайт Gemini, и на этом уровне контроль работал. Но, по иску, девочку к чат-боту направил обычный Google Search: режим AI Mode позволяет задавать уточняющие вопросы и фактически начать любой разговор прямо из поисковой строки.

Начиная с декабря она спрашивала о тяжёлой депрессии и «причинах жить», к концу января вопросы стали о суициде. Затем в Google Docs появился документ, который она вела больше четырёх недель, параллельно тысячи раз обращаясь к ИИ. Адвокат семьи считает, что система не только не остановила разговор, но и «подталкивала» её. Это позиция истцов, а не установленный факт.

О кризисе школа узнала лишь благодаря стороннему софту для мониторинга студентов. По словам адвоката, это могли быть GoGuardian или Gaggle, но точно семья не знает. Оповещение ушло на личный телефон бывшего школьного консультанта, который уволился девятью месяцами раньше. Он передал его нынешним сотрудникам, и те связались с матерью. Родители вмешались вовремя.

Где именно сломалась система

Здесь сразу три проблемы, знакомые любому инженеру.

Периметр без учёта новых входов. Админы заблокировали Gemini как отдельный продукт, но тот же функционал приехал внутри поиска. Это классическая ошибка: контроль привязан к адресу сервиса, а не к возможности. Когда ИИ встраивается в уже разрешённые продукты, список блокировок перестаёт что-либо гарантировать. Сейчас Google требует от школ включать генеративные функции, если они хотят пользоваться поиском. Сенатор Эд Марки в письме потребовал дать школам возможность отключать AI Mode и AI Overviews.

Мониторинг с неясным покрытием. Такие инструменты перехватывают нажатия клавиш или сканируют файлы, затем фильтруют алгоритмами и людьми. GoGuardian в блоге за июль 2025 года писал, что следит за чатами с ИИ, включая Gemini, но AI Mode не упоминал. Поэтому неизвестно, видел ли софт эти диалоги вообще. Школы, купившие такие продукты, редко проверяют, что именно они ловят.

Алерт без человека. Даже сработавшая система упёрлась в организационную дыру: уведомление пришло человеку, которого уже не было в штате. Это не вопрос качества модели, а вопрос регламента, ответственных и эскалации.

Стоит помнить и о доказательной базе. По опросу EdWeek Research Center 2022 года, 96% педагогов среди пользователей Gaggle считают, что он помогает защитить учеников от суицида и самоповреждения. Но исследование спонсировала сама Gaggle, а реальная эффективность таких систем остаётся неясной. Правозащитники критикуют их за вторжение в приватность и подрыв доверия между детьми и учителями.

Что с этим делать

• Продактам и разработчикам. Если в вашем продукте есть чат с ИИ, считайте, что подросток дойдёт до него любым путём. Проверяйте не только основной интерфейс, но и все встроенные точки входа, включая поиск и обёртки. Отдельно тестируйте сценарии уязвимых пользователей: как продукт реагирует на разговор о самоповреждении на третий месяц, а не только в первом сообщении.
• Командам, продающим ПО школам. Публикуйте, какие именно ИИ-интерфейсы вы покрываете. Фраза «мы мониторим чат-боты» без перечня стоит дёшево.
• Школам и администраторам. Проверьте цепочку оповещений: кто получает алерт, как обновляются контакты при увольнениях и что происходит в первые часы после него.

Эксперт RAND Бенджамин Будро отмечает, что часть школ внедряла такие инструменты, не продумав их пределы и процедуры реакции. Его вывод: кризис решается через человеческий контакт, а технология лишь помогает заметить проблему.

Кейс только начинает проходить через суд, и многие факты ещё предстоит проверить. Но технический урок уже очевиден: безопасность для детей нельзя собирать из разрозненных фильтров, когда ИИ становится слоем внутри всего остального.

Если вам или вашему близкому нужна поддержка, обратитесь на местную линию кризисной помощи. В США это номер 988.