Apple e Google continuam hospedando apps nudify, apesar das próprias regras

Apple e Google continuam mantendo em suas lojas de aplicativos apps que permitem criar imagens sexualizadas de pessoas sem o consentimento delas. O problema é especialmente sensível para a App Store e o Google Play, porque as duas empresas já têm regras que proíbem formalmente esse tipo de conteúdo.

O que os pesquisadores encontraram

A nova onda de críticas veio de um relatório do Tech Transparency Project. Segundo os dados, os ecossistemas da Apple e do Google ainda oferecem os chamados apps nudify: serviços que usam IA generativa para transformar fotos comuns de pessoas em imagens sexualizadas, sem obter o consentimento da pessoa retratada.

A principal contradição é que não se trata de uma zona cinzenta sem regras. Tanto a Apple quanto o Google restringem publicamente apps com conteúdo de exploração sexual, nocivo ou enganoso. Se essas ferramentas de fato continuam aparecendo nas buscas e disponíveis para download, há um abismo entre a política declarada das plataformas e o que ocorre na prática. Para empresas que apresentam suas lojas como um ambiente seguro, isso afeta tanto a confiança dos usuários quanto a reputação do próprio sistema de revisão.

Por que isso é perigoso

Esses apps reduzem a barreira de entrada para a violência digital a alguns toques na tela. Antes, falsificar uma imagem exigia habilidade de edição e tempo. Agora basta enviar uma foto de uma rede social ou de um mensageiro, escolher um estilo e receber o resultado em minutos. Para a vítima, não é uma "brincadeira" nem um formato de entretenimento discutível, mas uma violação dos limites pessoais e do controle sobre a própria imagem.

As consequências dessas ferramentas são bem reais:

• assédio e humilhação em chats, escolas e equipes de trabalho
• chantagem e pressão em relacionamentos pessoais
• dano à reputação difícil de reparar rapidamente
• aumento da desconfiança em relação à foto como prova da realidade
• carga adicional na moderação das plataformas e nas denúncias das vítimas

A escala de distribuição também é um problema. Quando esses produtos passam pela revisão das grandes lojas de apps, ganham não só público, mas também aparência de legalidade. Para parte dos usuários, a simples presença na App Store ou no Google Play parece sinal de que o serviço está "dentro das regras", mesmo que seus usos sejam claramente tóxicos.

Por que as regras não funcionaram

Pelo que o relatório descreve, a questão já não é a falta de normas, mas a sua aplicação. A moderação das lojas de apps tradicionalmente se apoia na descrição do produto, em palavras-chave, capturas de tela, denúncias de usuários e verificações posteriores de atualizações. Desenvolvedores de serviços polêmicos sabem driblar esse sistema: suavizam o texto, disfarçam os usos reais como "entretenimento" ou "efeitos de foto" e deixam as funções mais arriscadas visíveis só após a instalação.

Há ainda um problema mais sistêmico. As ferramentas generativas mudam mais rápido que as regras e os processos de revisão manual. As plataformas precisam avaliar não só a tecnologia, mas o provável dano de seu uso. No caso dos apps nudify, esse dano é bastante evidente: o cenário de uso é construído desde o início em torno de criar uma imagem sexualizada de uma pessoa sem consentimento. Por isso, as perguntas a Apple e Google não serão apenas sobre a política no papel, mas também sobre a rapidez com que removem esses produtos depois de detectados.

O que isso significa

O caso dos apps nudify mostra que o principal risco da IA generativa hoje costuma estar não no laboratório, mas na etapa de distribuição. Se Apple e Google querem que suas regras sejam levadas a sério, terão de definir com mais precisão os cenários proibidos, reagir mais rápido às denúncias e fiscalizar com mais rigor os apps que lucram com a sexualização não consentida de pessoas.