Demanda contra xAI: Grok habría convertido fotos reales de menores en contenido sexual

La empresa xAI, de Elon Musk, está en el centro de un proceso judicial que podría sentar precedente para toda la industria de la IA generativa. Tres menores, cuya identidad no se ha revelado, presentaron una demanda civil ante un tribunal federal en la que afirman que la herramienta de IA Grok se utilizó para crear imágenes sexualizadas a partir de sus fotografías reales de la infancia.

La esencia de las acusaciones: unos malintencionados subían fotografías de menores a Grok y obtenían lo que se conoce como CSAM deepfake, es decir, material de abuso sexual infantil sintetizado con inteligencia artificial. Según los demandantes, Grok carecía de mecanismos de protección suficientes para evitar este uso. La función que permitía generar versiones «desnudas» de las imágenes operaba sin una verificación fiable de la edad de las personas retratadas y sin un filtrado de contenido adecuado en la entrada.

Los demandantes buscan que el caso se tramite como demanda colectiva en nombre de todos los menores cuyas fotografías reales fueron transformadas de este modo con Grok. El número exacto de afectados aún no se ha determinado, pero los abogados consideran que los casos son bastante más de tres. La demanda sostiene que xAI era consciente de los posibles riesgos de abuso de la tecnología, pero no adoptó medidas de protección proporcionales.

El caso plantea una cuestión jurídica espinosa: la responsabilidad de los desarrolladores de IA por el uso que terceros hacen de sus productos. Tradicionalmente, las tecnológicas estadounidenses se han amparado en la sección 230 de la Ley de Decencia en las Comunicaciones, que limita la responsabilidad de las plataformas por el contenido de los usuarios. Sin embargo, los sistemas de IA que generan contenido nuevo de forma activa, en lugar de limitarse a alojarlo, pueden encuadrarse en una categoría jurídica radicalmente distinta. Es justamente esa distinción la que deberá establecer el tribunal.

El caso de xAI no es la primera señal de que las herramientas de IA generativa son vulnerables a la creación de contenido ilegal. En 2023 y 2024 surgieron informes de que varios modelos comerciales permitían generar CSAM bajo ciertas condiciones de prompting o eludiendo los filtros. Algunos desarrolladores respondieron endureciendo el filtrado; otros, actualizando sus políticas de uso. Aun así, apenas ha habido hasta ahora demandas de esta magnitud dirigidas directamente contra un desarrollador de IA.

La postura oficial de xAI no se había hecho pública en el momento de la publicación. Grok se posiciona como más abierto que sus competidores a tratar temas delicados, lo que es a la vez su rasgo distintivo y una fuente constante de riesgos reputacionales para la compañía.

Si el tribunal admite la demanda como colectiva, las consecuencias para la industria podrían ser muy significativas. Los desarrolladores de IA generativa tendrían que replantearse en serio la arquitectura de sus sistemas de seguridad y los mecanismos de verificación de contenido. Los reguladores de EE. UU., la UE y otras jurisdicciones obtendrían un argumento de peso más para endurecer los requisitos a los sistemas de IA en materia de protección de menores.

La demanda traslada el debate del sector sobre la responsabilidad de la IA del plano teórico al de la acción judicial real, y la industria tendrá que reaccionar.