OpenAI publica plano para proteger crianças da exploração sexual com uso de IA

A OpenAI publicou um novo documento, chamado Child Safety Blueprint, um plano de segurança infantil em que a empresa define sua abordagem para impedir o uso de IA generativa na criação e na distribuição de material de exploração sexual infantil. O documento sai em meio à pressão crescente de reguladores, organizações de defesa de direitos e da opinião pública.

O problema ganhou uma escala fundamentalmente nova com a difusão da IA generativa. Se antes a produção de CSAM (material de exploração sexual infantil) exigia contato com vítimas reais, agora criminosos podem criar imagens e vídeos sintéticos realistas sem ter contato físico com nenhuma criança. Segundo o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), o número de denúncias ligadas a conteúdo desse tipo gerado por IA cresceu várias vezes nos últimos dois anos.

A OpenAI descreve quatro áreas principais de trabalho. A primeira é a prevenção no nível do modelo: os sistemas são treinados para recusar pedidos que possam levar à geração de conteúdo nocivo, e os modelos são testados quanto à resistência a "jailbreaks", técnicas de contorno que permitem violar as restrições. A segunda é resposta e notificação: a empresa usa os bancos de dados de hashes do NCMEC e da Technology Coalition para bloquear automaticamente a transmissão de material conhecido e envia relatórios regularmente às autoridades policiais. A terceira são parcerias com organizações que atuam na proteção de crianças na prática. A quarta é a pesquisa sobre novos tipos de ataques e vulnerabilidades à medida que a tecnologia evolui.

As vítimas sintéticas representam uma dificuldade particular: crianças que não existem na realidade, mas cujas imagens realistas são criadas por IA. A regulação jurídica continua desigual: em algumas jurisdições, o CSAM sintético é totalmente equiparado ao material com vítimas reais; em outras, está em uma zona cinzenta legal. A posição da OpenAI é inequívoca: todo esse conteúdo deve ser classificado como CSAM, independentemente da forma de criação.

A reação do setor é ambígua. Parte dos especialistas vê o documento como um passo importante rumo à transparência e à padronização. Outros críticos apontam que a distância entre os compromissos declarados e a eficácia real dos sistemas de proteção pode ser grande: vários grupos de pesquisa já registraram casos em que foi possível burlar os modelos por meio de diálogos em várias etapas. Até que ponto a proteção da OpenAI resiste a esses ataques, só a prática dirá.

Em paralelo, o setor discute padrões comuns. A Technology Coalition, que reúne Amazon, Apple, Google, Meta*, Microsoft e outras empresas, desenvolve um framework de segurança universal para desenvolvedores de IA generativa. A velocidade de consolidação do setor, porém, continua inferior à velocidade com que surgem novas ameaças.

A publicação do plano de segurança infantil sinaliza que a proteção de menores está se tornando um elemento obrigatório da agenda corporativa das empresas de IA, ao lado da privacidade de dados e do combate à desinformação. Empresas que não tenham definido seus próprios padrões, seja voluntariamente ou sob pressão de reguladores, correm o risco de enfrentar restrições legais e perdas reputacionais sérias.

*A Meta foi considerada organização extremista e é proibida na Rússia.