Apple y Google siguen alojando aplicaciones nudify pese a sus propias reglas

Apple y Google continúan manteniendo en sus tiendas móviles aplicaciones que permiten crear imágenes sexualizadas de personas sin su consentimiento. Este es un asunto particularmente sensible para la App Store y Google Play, porque ambas empresas ya tienen reglas que formalmente prohíben este tipo de contenido.

Qué encontraron los investigadores

El desencadenante de esta nueva ola de críticas fue un informe del Tech Transparency Project. Según sus datos, las llamadas aplicaciones de nudify siguen estando disponibles en los ecosistemas de Apple y Google — servicios que utilizan IA generativa para transformar fotos ordinarias de personas en imágenes sexualizadas sin el consentimiento de la persona. La principal contradicción aquí es que no se trata de una zona gris sin reglas.

Tanto Apple como Google restringen públicamente aplicaciones con contenido sexualmente explotador, dañino o engañoso. Si estas herramientas realmente permanecen en los resultados de búsqueda y están disponibles para descargar, esto indica una brecha entre las políticas declaradas de las plataformas y cómo funcionan realmente en la práctica. Para empresas que posicionan sus tiendas como un entorno seguro, esto daña tanto la confianza del usuario como la reputación del propio sistema de revisión.

Por qué es peligroso

Tales aplicaciones reducen la barrera de entrada para la violencia digital a solo unos toques en la pantalla. Si anteriormente falsificar una imagen requería habilidades de edición y tiempo, ahora es suficiente subir una foto desde redes sociales o un mensajero, seleccionar un estilo y obtener el resultado en minutos. Para la víctima, esto no es una "broma" o un formato de entretenimiento controvertido, sino una violación de sus límites personales y del control sobre su propia imagen. Las consecuencias de tales herramientas son muy reales:

• acoso e humillación en chats, escuelas y equipos de trabajo
• extorsión y presión en relaciones personales
• daño reputacional que es difícil remediar rápidamente
• aumento de la desconfianza en fotos como prueba de realidad
• carga adicional en la moderación de plataformas y quejas de víctimas

El problema también es de escala. Cuando tales productos pasan la revisión de las grandes tiendas de aplicaciones, ganan no solo una audiencia sino también la apariencia de legitimidad legal. Para algunos usuarios, la mera presencia en la App Store o Google Play parece ser una señal de que el servicio está "dentro de las reglas", incluso si sus escenarios de uso son obviamente tóxicos.

Por qué las reglas no funcionaron

Según la sustancia del informe, el problema ya no es la ausencia de reglas, sino su aplicación. La moderación de las tiendas de aplicaciones tradicionalmente se basa en descripciones de productos, palabras clave, capturas de pantalla, quejas de usuarios y revisiones posteriores de actualizaciones. Los desarrolladores de servicios controvertidos saben cómo jugar con este sistema: suavizan la redacción, disfrazan escenarios de uso reales como "entretenimiento" o "efectos de foto", y hacen que las características más arriesgadas sean visibles solo después de la instalación.

También hay un problema más sistémico. Las herramientas generativas cambian más rápido que las reglas y los procesos de revisión manual. Las plataformas deben evaluar no solo la tecnología en sí, sino también el daño probable de su aplicación.

En el caso de las aplicaciones de nudify, este daño es bastante obvio: el escenario del usuario se construye inicialmente en torno a crear una imagen sexualizada de una persona sin consentimiento. Es por eso que Apple y Google enfrentarán preguntas no solo sobre su política en papel, sino también sobre con qué rapidez eliminan tales productos una vez descubiertos.

Qué significa esto

La historia de la aplicación de nudify muestra que el principal riesgo de la IA generativa hoy a menudo no está en el laboratorio, sino en la etapa de distribución. Si Apple y Google quieren que sus reglas sean tomadas en serio, tendrán que definir con mayor precisión los escenarios prohibidos, responder más rápidamente a las quejas y realizar controles más rigurosos de las aplicaciones que monetizan la sexualización no autorizada de personas.