Demanda contra xAI: Grok presuntamente convirtió fotos reales de niños en contenido sexual

La empresa xAI de Elon Musk se ha visto envuelta en un litigio que podría sentar un precedente para toda la industria de la IA generativa. Tres menores, cuyas identidades no se revelan, presentaron una demanda civil ante un tribunal federal, alegando que la herramienta de IA Grok fue utilizada para crear imágenes sexualizadas basadas en sus fotografías reales de infancia.

La esencia de las acusaciones es la siguiente: actores maliciosos cargaban fotografías de menores en Grok y recibían como resultado el llamado deepfake CSAM—material de abuso sexual infantil sintetizado con la ayuda de la inteligencia artificial.

Según las alegaciones de los demandantes, Grok careció de mecanismos de protección suficientes para prevenir tal uso indebido. La funcionalidad que permitía la generación de variantes de imágenes "desnudas" funcionaba sin verificación confiable de la edad de las personas representadas y sin filtrado de contenido adecuado en la entrada.

Los demandantes buscan certificar el caso como una demanda colectiva en nombre de todos los menores cuyas fotografías reales fueron transformadas de manera similar usando Grok. El número exacto de víctimas aún no se ha determinado, pero los abogados creen que hay significativamente más de tres casos.

La demanda sostiene que xAI era consciente de los riesgos potenciales del uso indebido de la tecnología, pero no tomó medidas de protección proporcionales.

El caso plantea una pregunta legal aguda sobre la responsabilidad de los desarrolladores de IA por cómo terceros usan sus productos. Tradicionalmente, las empresas de tecnología estadounidenses se han beneficiado de la protección de la Sección 230 de la Ley de Decencia en las Comunicaciones, que limita la responsabilidad de la plataforma por contenido generado por usuarios. Sin embargo, los sistemas de IA que generan activamente nuevo contenido en lugar de simplemente alojarlo pueden caer en una categoría legal fundamentalmente diferente. Es precisamente esta distinción la que el tribunal tendrá que establecer.

El caso xAI no es la primera indicación de la vulnerabilidad de las herramientas de IA generativa a la creación de contenido ilegal. Durante 2023–2024, surgieron informes de que varios modelos comerciales, bajo ciertas condiciones de prompting o evasión de filtros, permitieron la generación de CSAM. Algunos desarrolladores respondieron endureciendo el filtrado; otros actualizaron las políticas de uso. Sin embargo, demandas de tal magnitud dirigidas directamente contra un desarrollador de IA apenas han ocurrido hasta ahora.

La posición de xAI no ha sido declarada oficialmente en el momento de la publicación. Grok en sí está posicionado como más abierto a discutir temas controvertidos en comparación con los competidores—esto es simultáneamente tanto su característica distintiva como una fuente constante de riesgo reputacional para la empresa.

Si el tribunal certifica el caso como una demanda colectiva, las consecuencias para la industria podrían ser bastante sustanciales. Los desarrolladores de IA generativa tendrán que repensar seriamente la arquitectura de los sistemas de seguridad y los mecanismos de verificación de contenido. Los reguladores en Estados Unidos, UE y otras jurisdicciones obtendrán otro argumento ponderado a favor del endurecimiento de los requisitos para sistemas de IA en términos de protección de menores.

Esta demanda marca una transición en la discusión de la industria sobre la responsabilidad de la IA del plano teórico al de la persecución legal real—y la industria tendrá que responder.