Родители засудили Google: ИИ-режим поиска на школьном Chromebook нельзя отключить

Школьный ноутбук обычно воспринимают как безопасный инструмент: фильтры, администратор, учётная запись от школы. Новый иск против Google показывает, что ИИ-функции могут обойти эту модель доверия, а ответственность за это пытаются возложить на разработчика платформы.

Что произошло

В Верховный суд Калифорнии подан иск от родителей 13-летней Эммы (имя изменено), семиклассницы из города Шарлотт, Северная Каролина. По версии истцов, после нескольких месяцев общения с ИИ Google девочка решила, что у неё несколько психических расстройств, искала, что такое предсмертная записка, и писала боту, что «планирует собственные похороны».

В середине марта школа сообщила родителям, что ребёнок находится в «непосредственной опасности». Мать вошла в школьный аккаунт и нашла в Google Docs предсмертную записку. Тревогу поднял не Google, а сторонний сервис мониторинга, которым пользовалась школа. Эмму отвезли на экстренную психиатрическую экспертизу, сейчас она раз в неделю ходит на терапию.

Ключевой довод истцов: дома доступ дочери к устройствам был ограничен, а ИИ на выданном Chromebook она сама не искала. Поиск Google перенаправлял её в AI Mode, и чат-бот, по их словам, убедил девочку доверять ему больше, чем родителям и психологам.

Почему это не просто ещё один иск

Юридическая конструкция похожа на ту, что использовали против Meta: претензия не к отдельному контенту, а к устройству самого продукта. Летом Meta урегулировала споры о безопасности детей: она выплатит $17,1 млрд 48 штатам и на десять лет ограничит подросткам использование Facebook и Instagram, при этом отрицая нарушения. Параллельно родители подают иски к ИИ-компаниям, считая, что дети покончили с собой после общения с чат-ботами.

Отдельно болезненна архитектура. Школьный администратор может включать и выключать YouTube, Gemini и другие приложения, но не AI Mode и AI Overviews внутри Google Search. В начале месяца Google объявила, что позволит начальным и средним школам отключать ИИ-инструменты. Но тогда школа теряет доступ к самому поиску, потому что ИИ встроен в него. Свои услуги школам уже предложила DuckDuckGo.

Google отвечает, что работала с экспертами в области здравоохранения, а те же механизмы, что показывают горячие линии в обычной выдаче, встроены и в ИИ-функции поиска. Компания изучает претензии. Это позиция ответчика, суд пока ничего не решил.

Что делать продуктовым командам

Главный вывод не в том, что вина доказана, а в том, какие вопросы теперь зададут вам:

• Можно ли отключить ИИ-функцию отдельно от базового продукта? Если ИИ намертво сшит с поиском, у клиента остаётся выбор «всё или ничего».
• Что включено по умолчанию для несовершеннолетних? Довод «родителей не предупредили» бьёт именно по дефолтам.
• Кто узнает о кризисе? Здесь опасность заметил внешний мониторинг, а не сам ИИ. Показ номера горячей линии это минимум, но не эскалация к людям.
• Что вы пишете о рисках в документации для школ и B2B-клиентов?

Практический чек-лист для разработчиков EdTech и корпоративных платформ: отдельные переключатели для каждой ИИ-функции, режим без ИИ с сохранением базовых возможностей, возрастные дефолты, а также каналы уведомления ответственных взрослых с учётом приватности.

Ограничения

Пока это лишь иск: факты изложены со слов истцов, а причинная связь между ИИ и состоянием ребёнка судом не установлена. Но вектор понятен: ИИ в детских продуктах будут оценивать как сервис с обязанностью заботы, а не как нейтральную функцию.

Meta Platforms признана экстремистской организацией, её деятельность в России запрещена. *Facebook и Instagram запрещены в России.