Apple e Google continuam a hospedar aplicativos nudify apesar de suas próprias regras

Apple e Google continuam mantendo em suas lojas móveis aplicativos que permitem criar imagens sexualizadas de pessoas sem seu consentimento. Esta é uma questão particularmente sensível para o App Store e Google Play, porque ambas as empresas já têm regras que formalmente proíbem esse tipo de conteúdo.

O que os pesquisadores descobriram

O gatilho para essa nova onda de críticas foi um relatório do Tech Transparency Project. De acordo com seus dados, os chamados aplicativos de nudify ainda estão disponíveis nos ecossistemas da Apple e Google — serviços que usam IA generativa para transformar fotos comuns de pessoas em imagens sexualizadas sem o consentimento da pessoa. A principal contradição aqui é que não se trata de uma zona cinzenta sem regras.

Tanto Apple quanto Google restringem publicamente aplicativos com conteúdo sexualmente explorador, prejudicial ou enganoso. Se tais ferramentas realmente permanecem nos resultados de pesquisa e estão disponíveis para download, isso indica uma lacuna entre as políticas declaradas das plataformas e como elas realmente funcionam na prática. Para empresas que posicionam suas lojas como um ambiente seguro, isso prejudica tanto a confiança do usuário quanto a reputação do próprio sistema de revisão.

Por que isso é perigoso

Tais aplicativos reduzem a barreira de entrada para a violência digital a apenas alguns toques na tela. Se anteriormente falsificar uma imagem exigia habilidades de edição e tempo, agora é suficiente carregar uma foto de redes sociais ou de um mensageiro, selecionar um estilo e obter o resultado em minutos. Para a vítima, isso não é uma "brincadeira" ou um formato de entretenimento controverso, mas uma violação das fronteiras pessoais e do controle sobre sua própria imagem. As consequências de tais ferramentas são bem reais:

• assédio e humilhação em chats, escolas e equipes de trabalho
• extorsão e pressão em relacionamentos pessoais
• dano reputacional que é difícil remediar rapidamente
• aumento da desconfiança em fotos como prova de realidade
• carga adicional na moderação das plataformas e reclamações de vítimas

O problema também é de escala. Quando tais produtos passam na revisão de grandes lojas de aplicativos, eles ganham não apenas uma audiência, mas também a aparência de legitimidade legal. Para alguns usuários, a mera presença no App Store ou Google Play parece ser um sinal de que o serviço está "dentro das regras", mesmo que seus cenários de uso sejam obviamente tóxicos.

Por que as regras não funcionaram

Com base na substância do relatório, a questão não é mais a ausência de regras, mas sua aplicação. A moderação de lojas de aplicativos tradicionalmente depende de descrições de produtos, palavras-chave, capturas de tela, reclamações de usuários e revisões posteriores de atualizações. Desenvolvedores de serviços controversos sabem como jogar com esse sistema: suavizam a linguagem, mascaram cenários de uso reais como "entretenimento" ou "efeitos de foto", e tornam os recursos mais arriscados visíveis apenas após a instalação.

Há também um problema mais sistêmico. As ferramentas generativas mudam mais rapidamente do que as regras e os processos de revisão manual. As plataformas devem avaliar não apenas a tecnologia em si, mas também o dano provável de sua aplicação.

No caso dos aplicativos de nudify, esse dano é bastante óbvio: o cenário do usuário é inicialmente construído em torno da criação de uma imagem sexualizada de uma pessoa sem consentimento. É exatamente por isso que Apple e Google enfrentarão questões não apenas sobre suas políticas no papel, mas também sobre com que rapidez removem tais produtos após sua descoberta.

O que isso significa

A história do aplicativo de nudify mostra que o principal risco da IA generativa hoje frequentemente não está no laboratório, mas no estágio de distribuição. Se Apple e Google querem que suas regras sejam levadas a sério, elas precisarão definir mais precisamente os cenários proibidos, responder mais rapidamente às reclamações e realizar verificações mais rigorosas em aplicativos que monetizam sexualização não autorizada de pessoas.