OpenAI detalha princípios de segurança do Sora 2, de deepfakes à marcação de conteúdo

A OpenAI publicou uma descrição detalhada da abordagem de segurança que sustenta o Sora 2, a nova versão do seu modelo de geração de vídeo, e o aplicativo de mesmo nome para criação de conteúdo. A empresa ressalta que a segurança não foi adicionada a um produto pronto, mas embutida na arquitetura desde o início do desenvolvimento.

O Sora 2 é a nova geração do modelo de vídeo da OpenAI, capaz de gerar vídeos realistas a partir de prompts de texto e imagem, com qualidade bem superior. Ao mesmo tempo, a OpenAI lançou o Sora como plataforma social independente, voltada a usuários criativos: artistas, cineastas, blogueiros e criadores de conteúdo. Na avaliação da empresa, é justamente a combinação de um modelo poderoso com uma plataforma pública aberta que cria desafios de segurança fundamentalmente novos, que o setor não havia enfrentado nessa escala.

A proteção é organizada em várias camadas. A primeira é o controle no nível do próprio modelo. O Sora 2 foi treinado para recusar pedidos que violem a política de uso aceitável: criar deepfakes de pessoas reais sem consentimento, conteúdo sexualizado envolvendo menores, ou material que promova violência ou espalhe desinformação. Essa camada está embutida diretamente nos pesos do modelo e age antes mesmo de qualquer conteúdo começar a ser gerado.

A segunda camada são as medidas da plataforma. O aplicativo Sora inclui verificação de idade, restrições regionais para certos tipos de conteúdo, sistemas de denúncia e ferramentas de moderação que permitem aos usuários relatar violações.

A atribuição de conteúdo merece destaque. Todos os vídeos criados no Sora são marcados com o padrão C2PA (Coalition for Content Provenance and Authenticity), um conjunto de metadados técnicos que permite identificar o material como gerado por IA. Isso significa que, mesmo depois de o vídeo ser baixado e republicado, sua origem pode ser comprovada tecnicamente. A iniciativa visa combater a desinformação: redações, plataformas e usuários comuns poderão ver o que foi criado por IA e o que foi filmado com câmera.

Outro elemento importante são os testes externos. Antes do lançamento público, a OpenAI realizou red teaming em larga escala: pesquisadores de segurança independentes, cineastas e organizações de direitos humanos submeteram o modelo a testes de estresse, tentando encontrar vulnerabilidades e formas de contornar as restrições. As descobertas influenciaram diretamente a configuração final do sistema de segurança.

A empresa reconhece abertamente que nenhum mecanismo de proteção oferece garantias absolutas. A aposta é na defesa em camadas: restrições do modelo, regras da plataforma, atribuição técnica e ferramentas de moderação. Em vez de buscar um único filtro perfeito, a OpenAI constrói um sistema de barreiras complementares, cada uma dificultando o abuso.

Liberar modelos de vídeo poderosos ao público é sempre um equilíbrio entre potencial criativo e riscos. Quanto mais realista o conteúdo sintético, maiores as apostas para a sociedade. O teste real da abordagem da OpenAI virá não no lançamento, mas à medida que milhões de pessoas passarem a usar o Sora 2 em contextos variados, inclusive imprevisíveis.