Apple et Google continuent d’héberger des applications nudify malgré leurs propres règles

Apple et Google continuent de maintenir dans leurs magasins mobiles des applications qui permettent de créer des images sexualisées de personnes sans leur consentement. Ceci est une question particulièrement sensible pour l'App Store et Google Play, car les deux entreprises ont déjà des règles qui formellement interdisent ce type de contenu.

Ce que les chercheurs ont découvert

Le déclencheur de cette nouvelle vague de critiques a été un rapport du Tech Transparency Project. Selon ses données, les soi-disant applications de nudify sont toujours disponibles dans les écosystèmes d'Apple et Google — des services qui utilisent l'IA générative pour transformer des photos ordinaires de personnes en images sexualisées sans le consentement de la personne. La principale contradiction ici est qu'il ne s'agit pas d'une zone grise sans règles.

Apple et Google restreignent publiquement les applications avec du contenu sexuellement exploitant, nuisible ou trompeur. Si ces outils restent réellement dans les résultats de recherche et sont disponibles au téléchargement, cela indique un écart entre les politiques déclarées des plateformes et la façon dont elles fonctionnent réellement en pratique. Pour les entreprises qui positionnent leurs magasins comme un environnement sûr, cela porte atteinte à la fois à la confiance des utilisateurs et à la réputation du système d'examen lui-même.

Pourquoi c'est dangereux

Ces applications abaissent la barrière d'entrée pour la violence numérique à seulement quelques tapotements sur l'écran. Si autrefois falsifier une image nécessitait des compétences en édition et du temps, il suffit maintenant de télécharger une photo depuis les réseaux sociaux ou un messager, de sélectionner un style et d'obtenir le résultat en quelques minutes. Pour la victime, ce n'est pas une "blague" ni un format de divertissement controversé, mais une violation de ses limites personnelles et du contrôle sur sa propre image. Les conséquences de tels outils sont bien réelles :

• harcèlement et humiliation dans les chats, écoles et équipes de travail
• extorsion et pression dans les relations personnelles
• dommages à la réputation qui sont difficiles à corriger rapidement
• augmentation de la méfiance envers les photos comme preuve de réalité
• charge supplémentaire sur la modération des plateformes et les plaintes des victimes

Le problème est aussi une question d'échelle. Lorsque de tels produits passent l'examen des grands magasins d'applications, ils gagnent non seulement une audience mais aussi l'apparence d'une légitimité légale. Pour certains utilisateurs, la simple présence dans l'App Store ou Google Play semble être un signe que le service est "dans les règles", même si ses scénarios d'utilisation sont évidemment toxiques.

Pourquoi les règles n'ont pas fonctionné

Sur la base de la substance du rapport, le problème n'est plus l'absence de règles, mais leur application. La modération des magasins d'applications s'appuie traditionnellement sur les descriptions de produits, les mots-clés, les captures d'écran, les plaintes des utilisateurs et les examens ultérieurs des mises à jour. Les développeurs de services controversés savent comment jouer avec ce système : ils adoucissent la formulation, déguisent les scénarios d'utilisation réels en "divertissement" ou "effets photo", et rendent les fonctionnalités les plus risquées visibles uniquement après l'installation.

Il y a aussi un problème plus systémique. Les outils génératifs changent plus vite que les règles et les processus d'examen manuel. Les plateformes doivent évaluer non seulement la technologie elle-même, mais aussi les dommages probables de son application.

Dans le cas des applications de nudify, ce dommage est assez évident : le scénario utilisateur est construit initialement autour de la création d'une image sexualisée d'une personne sans consentement. C'est précisément pourquoi Apple et Google feront face à des questions non seulement sur leur politique sur papier, mais aussi sur la rapidité avec laquelle ils suppriment de tels produits une fois découverts.

Ce que cela signifie

L'histoire de l'application nudify montre que le risque principal de l'IA générative aujourd'hui se situe souvent non pas au laboratoire, mais au stade de la distribution. Si Apple et Google veulent que leurs règles soient prises au sérieux, ils devront définir plus précisément les scénarios interdits, réagir plus rapidement aux plaintes et mener des vérifications plus strictes des applications qui monétisent la sexualisation non autorisée de personnes.