Apple and Google continue to host nudify apps despite their own rules

Apple и Google продолжают держать в своих мобильных магазинах приложения, которые позволяют создавать сексуализированные изображения людей без их согласия. Это особенно чувствительная проблема для App Store и Google Play, потому что у обеих компаний уже есть правила, которые формально запрещают такой контент.

Что нашли исследователи Поводом для новой волны критики стал отчет Tech Transparency Project.

По его данным, в экосистемах Apple и Google по-прежнему доступны так называемые nudify-приложения — сервисы, которые с помощью генеративного ИИ превращают обычные фото людей в сексуализированные изображения, не получив на это согласия самого человека. Главное противоречие здесь в том, что речь идет не о серой зоне без правил. И Apple, и Google публично ограничивают приложения с сексуально-эксплуатирующим, вредным или вводящим в заблуждение контентом. Если такие инструменты действительно остаются в выдаче и доступны для скачивания, это означает разрыв между заявленной политикой платформ и тем, как она работает на практике. Для компаний, которые позиционируют свои магазины как безопасную среду, это бьет и по доверию пользователей, и по репутации самой системы проверки.

Почему это опасно

Такие приложения опускают порог входа для цифрового насилия до нескольких нажатий на экран. Если раньше для подделки изображения требовались навыки редактирования и время, то теперь достаточно загрузить фото из соцсетей или мессенджера, выбрать стиль и получить результат за минуты. Для жертвы это не «шутка» и не спорный развлекательный формат, а нарушение личных границ и контроля над собственным изображением.

Последствия у таких инструментов вполне реальные: травля и унижение в чатах, школах и рабочих командах шантаж и давление в личных отношениях репутационный ущерб, который трудно быстро устранить рост недоверия к фото как доказательству реальности * дополнительная нагрузка на модерацию платформ и жалобы пострадавших Проблема еще и в масштабе распространения. Когда подобные продукты проходят проверку крупных магазинов приложений, они получают не только аудиторию, но и видимость легальности. Для части пользователей само присутствие в App Store или Google Play выглядит как знак того, что сервис «в пределах правил», даже если его сценарии использования очевидно токсичны.

Почему правила не сработали Судя по сути отчета, вопрос уже не в отсутствии норм, а в их исполнении.

Модерация магазинов приложений традиционно опирается на описание продукта, ключевые слова, скриншоты, жалобы пользователей и последующие проверки обновлений. Разработчики спорных сервисов умеют играть на этой системе: смягчают формулировки, маскируют реальные сценарии использования под «развлечение» или «фотоэффекты», а самые рискованные функции делают заметными только после установки. Есть и более системная проблема. Генеративные инструменты меняются быстрее, чем правила и процессы ручной проверки. Платформам приходится оценивать не только саму технологию, но и вероятный вред от ее применения. В случае с nudify-приложениями этот вред довольно очевиден: пользовательский сценарий изначально строится вокруг создания сексуализированного образа человека без согласия. Именно поэтому к Apple и Google будут возникать вопросы не только о политике на бумаге, но и о том, как быстро они удаляют такие продукты после обнаружения.

Что это значит

История с nudify-приложениями показывает, что главный риск генеративного ИИ сегодня часто находится не в лаборатории, а на этапе дистрибуции. Если Apple и Google хотят, чтобы их правила воспринимались всерьез, им придется точнее определять запрещенные сценарии, быстрее реагировать на жалобы и жестче проверять приложения, которые монетизируют несанкционированную сексуализацию людей.