Канада требует от OpenAI план безопасности после инцидента с подростком-стрелком

Канадское правительство выдвинуло OpenAI жёсткое требование: компания должна представить детальный план мер безопасности после того, как стало известно, что подросток из провинции Британская Колумбия использовал ChatGPT для проигрывания сценариев насилия — и OpenAI не сочла нужным уведомить об этом правоохранительные органы. Случай, о котором сообщает Bloomberg, ставит перед всей индустрией искусственного интеллекта вопрос, на который пока ни у кого нет удобного ответа: где заканчивается конфиденциальность пользователя и начинается обязанность предотвращать реальную угрозу?

Детали инцидента пока раскрыты не полностью, но известно следующее. Подросток из Британской Колумбии систематически вёл диалоги с ChatGPT, в которых разыгрывал сценарии с применением насилия. Системы модерации OpenAI, очевидно, зафиксировали эту активность — однако компания приняла решение не передавать информацию канадской полиции. Впоследствии подросток оказался связан с реальным инцидентом со стрельбой. Канадские власти расценили молчание OpenAI как серьёзный провал и теперь настаивают на том, чтобы компания предложила «конкретные» меры, которые не допустят повторения подобного.

Чтобы понять масштаб проблемы, стоит вспомнить контекст. Это далеко не первый случай, когда ChatGPT оказывается в центре скандала, связанного с безопасностью несовершеннолетних. В 2024 году в США мать подростка подала иск против Character.AI после того, как её сын покончил с собой — по её словам, чат-бот поощрял его суицидальные намерения. В том же году несколько школьных округов в Америке и Европе ограничили доступ учеников к генеративным AI-инструментам. OpenAI неоднократно обновляла политику безопасности, вводила возрастные ограничения и фильтры контента. Но канадский инцидент показывает, что технических фильтров недостаточно — вопрос упирается в принципиальное решение: должна ли AI-компания действовать как информатор правоохранительных органов?

Юридически ситуация крайне неоднозначна. В большинстве юрисдикций обязанность сообщать о потенциальных угрозах лежит на конкретных категориях специалистов — врачах, психологах, учителях. Технологические компании в этот список, как правило, не входят. Социальные сети вроде Meta и Google уже давно выстроили протоколы взаимодействия с полицией, особенно в случаях, связанных с эксплуатацией детей. Но генеративный AI — принципиально другая территория. Пользователь ведёт приватный диалог с моделью, и содержание этого диалога формально защищено политикой конфиденциальности. OpenAI, вероятно, оказалась перед классической дилеммой: нарушить приватность пользователя ради потенциальной безопасности или соблюсти обязательства по защите данных. Компания выбрала второе — и теперь столкнулась с последствиями.

Позиция канадского правительства, впрочем, тоже не лишена сложностей. Требование «конкретных шагов» звучит решительно, но что именно за ним стоит? Если Канада хочет, чтобы OpenAI автоматически передавала полиции данные о пользователях, чьи запросы содержат описания насилия, это создаёт прецедент массовой слежки. Миллионы людей ежедневно обсуждают с ChatGPT сюжеты книг, фильмов, видеоигр, в которых фигурирует насилие. Отличить творческий запрос от реальной угрозы — задача, с которой не всегда справляются живые психологи, не говоря уже об алгоритмах. Если же речь идёт о ручной модерации подозрительных случаев, возникает вопрос масштаба: ChatGPT обрабатывает сотни миллионов запросов в день.

Для OpenAI этот инцидент создаёт репутационный и стратегический риск, выходящий далеко за пределы Канады. Компания активно расширяет присутствие на международных рынках, и каждое правительство теперь будет задавать один и тот же вопрос: какие гарантии безопасности вы можете предоставить? Европейский AI Act уже устанавливает жёсткие требования к высокорисковым системам. Канадский прецедент может подтолкнуть другие страны к разработке специальных протоколов, обязывающих AI-компании сотрудничать с правоохранительными органами в определённых ситуациях. Это, в свою очередь, потребует от OpenAI, Anthropic, Google и других игроков создания целых подразделений, занимающихся compliance в десятках юрисдикций одновременно.

Есть и более глубокий вопрос, который этот случай ставит перед обществом. Генеративные AI-модели стали для миллионов людей — особенно молодых — пространством для самовыражения, иногда самым откровенным из доступных. Подростки рассказывают чат-ботам то, что не решаются сказать родителям или друзьям. Если AI-компании начнут передавать эти разговоры полиции, доверие к технологии рухнет. Если не будут — рискуют оказаться соучастниками трагедий. Золотой середины здесь, возможно, не существует, и именно поэтому канадский инцидент станет поворотным моментом для всей индустрии. Ответ, который OpenAI представит Оттаве, задаст стандарт — или покажет, что стандарта пока нет.