Adolescentes demandan a xAI: Grok generó CSAM con imágenes de menores

Tres adolescentes del estado de Tennessee han presentado una demanda colectiva contra xAI — la empresa de Elon Musk que desarrolla el chatbot Grok. Los demandantes acusan a la empresa de permitir que su sistema de IA generara imágenes y videos sexualizados que los muestran como menores. La alegación central: el liderazgo de xAI conocía este riesgo antes de lanzar la funcionalidad relevante.

La demanda se presentó el lunes y va dirigida personalmente a Musk y a otros ejecutivos de alto nivel de xAI. Los demandantes insisten en que la empresa era consciente de antemano de que Grok podía crear material de abuso sexual infantil (CSAM), pero de todas formas lanzó el llamado "modo picante" (spicy mode) en 2025. Según los demandantes, esta decisión fue deliberada y criminalmente negligente — xAI habilitó la generación de contenido ilegal mientras se escudaba detrás de restricciones de edad formales que resultaron ineficaces.

Entre los demandantes hay dos menores actuales y un adulto que era niño en el momento de los eventos descritos. Una de las víctimas, denominada en los documentos como "Jane Doe 1", reporta haber descubierto la distribución en internet de imágenes generadas por IA explícitamente con su imagen en diciembre del año pasado. Según ella, no dio consentimiento para crear tal contenido — fue generado por Grok basado en solicitudes de usuarios que ella no conocía.

El "modo picante" apareció en Grok en el verano de 2025. La funcionalidad permitía al modelo crear contenido explícito bajo solicitud del usuario. xAI lo posicionó como una herramienta para adultos con verificación de edad declarada.

Sin embargo, de acuerdo con los materiales de la demanda, ninguna de las restricciones integradas evitó la generación de contenido sexualizado con personas reales, incluyendo niños. Los demandantes argumentan que xAI conocía esta vulnerabilidad antes del lanzamiento y conscientemente asumió este riesgo. El problema de CSAM generado por IA es uno de los más agudos en la industria tecnológica.

En Estados Unidos, la Ley Federal PROTECT criminaliza la creación y distribución de imágenes virtuales de abuso sexual infantil — incluso si representan personajes ficticios. Cuando el contenido se crea mostrando imágenes de menores reales, las consecuencias legales son exponencialmente más graves. Particular preocupación surge del hecho de que las víctimas a menudo descubren la existencia de tal contenido solo meses después — los algoritmos de distribución operan de forma autónoma.

Los demandantes buscan el estatus de demanda colectiva, lo que permitiría a otras víctimas unirse al caso en todo el país. xAI aún no ha hecho ninguna declaración pública — la empresa tradicionalmente interactúa con la prensa muy raramente. Grok está integrado en la plataforma X (anterior Twitter) y está disponible como una aplicación independiente.

Después de varias olas de crítica, la funcionalidad del "modo picante" fue ajustada y restringida — sin embargo, según la demanda, las medidas tomadas resultaron insuficientes. La demanda contra xAI se inscribe en una tendencia legal más amplia: las víctimas de generación de IA están recurriendo cada vez más a los tribunales. Anteriormente, casos similares involucraban plataformas sociales que no tomaron medidas oportunas contra contenido deepfake.

Ahora se busca responsabilidad directamente de los desarrolladores de modelos generativos. El resultado de este caso podría establecer un precedente importante y determinar cuán serias son las consecuencias legales para las empresas que ignoran cuestiones de seguridad al lanzar poderosos sistemas de IA generativa.