Processo contra a xAI: Grok teria transformado fotos reais de crianças em conteúdo sexual

A empresa xAI de Elon Musk se viu no centro de um litígio que pode estabelecer um precedente para toda a indústria de IA generativa. Três menores, cujas identidades não foram divulgadas, ajuizaram uma ação civil em tribunal federal, alegando que a ferramenta de IA Grok foi usada para criar imagens sexualizadas com base em suas fotografias reais de infância.

A essência das acusações é a seguinte: atores maliciosos carregavam fotografias de menores em Grok e recebiam como resultado o chamado deepfake CSAM — material de abuso sexual infantil sintetizado com a ajuda de inteligência artificial.

De acordo com as alegações dos demandantes, Grok não possuía mecanismos de proteção suficientes para evitar tal uso indevido. A funcionalidade que permitia a geração de variantes de imagens "despidas" operava sem verificação confiável da idade dos indivíduos retratados e sem filtragem de conteúdo adequada na entrada.

Os demandantes estão buscando certificar o caso como uma ação coletiva em nome de todos os menores cujas fotografias reais foram transformadas de forma semelhante usando Grok. O número exato de vítimas ainda não foi determinado, mas os advogados acreditam que há significativamente mais de três casos assim.

A ação afirma que xAI estava ciente dos riscos potenciais de abuso da tecnologia, mas não tomou medidas de proteção proporcionais.

O caso levanta uma questão legal aguda sobre a responsabilidade dos desenvolvedores de IA pela forma como seus produtos são usados por terceiros. Tradicionalmente, as empresas de tecnologia americana se beneficiaram da proteção da Seção 230 da Lei de Decência nas Comunicações, que limita a responsabilidade da plataforma pelo conteúdo gerado pelo usuário. No entanto, os sistemas de IA que geram ativamente novo conteúdo em vez de simplesmente hospedá-lo podem se enquadrar em uma categoria legal fundamentalmente diferente. É precisamente essa distinção que o tribunal precisará estabelecer.

O caso xAI não é o primeiro sinal da vulnerabilidade das ferramentas de IA generativa para a criação de conteúdo ilegal. Durante 2023–2024, surgiram relatos de que vários modelos comerciais, sob certas condições de prompting ou contornos de filtros, permitiram a geração de CSAM. Alguns desenvolvedores responderam endurecendo a filtragem; outros atualizaram as políticas de uso. No entanto, processos dessa magnitude dirigidos diretamente contra um desenvolvedor de IA praticamente não ocorreram até agora.

A posição da xAI não foi oficialmente declarada no momento da publicação. Grok em si é posicionado como mais aberto a discussões de temas controversos em comparação com os concorrentes—isso é simultaneamente sua característica distintiva e uma fonte constante de risco reputacional para a empresa.

Se o tribunal certificar o caso como uma ação coletiva, as consequências para a indústria poderão ser bastante substanciais. Os desenvolvedores de IA generativa terão que repensar seriamente a arquitetura dos sistemas de segurança e os mecanismos de verificação de conteúdo. Os reguladores nos Estados Unidos, UE e outras jurisdições ganharão outro argumento ponderável a favor do endurecimento dos requisitos para sistemas de IA em termos de proteção de menores.

Esta ação marca uma transição na discussão da indústria sobre a responsabilidade de IA do plano teórico para o da perseguição legal real—e a indústria terá que responder.