OpenAI détaille les principes de sécurité de Sora 2, des deepfakes à l'étiquetage des contenus

OpenAI a publié une description détaillée de l'approche de sécurité qui sous-tend Sora 2, la nouvelle version de son modèle de génération vidéo, et l'application éponyme de création de contenus. L'entreprise souligne que la sécurité n'a pas été ajoutée après coup à un produit fini, mais intégrée à l'architecture dès le début du développement.

Sora 2 est la nouvelle génération du modèle vidéo d'OpenAI, capable de produire des vidéos réalistes à partir d'instructions textuelles et visuelles, avec une qualité nettement supérieure. En parallèle, OpenAI a lancé Sora comme plateforme sociale autonome, destinée aux utilisateurs créatifs : artistes, réalisateurs, blogueurs et créateurs de contenu. Selon l'entreprise, c'est précisément l'association d'un modèle puissant et d'une plateforme publique ouverte qui crée des défis de sécurité radicalement nouveaux, auxquels le secteur n'avait jamais été confronté à cette échelle.

La protection s'organise en plusieurs couches. La première est le contrôle au niveau du modèle lui-même. Sora 2 a été entraîné à refuser les requêtes qui enfreignent la politique d'utilisation acceptable : création de deepfakes de personnes réelles sans leur consentement, de contenus sexualisés impliquant des mineurs, ou de contenus faisant l'apologie de la violence ou diffusant de la désinformation. Cette couche est intégrée directement dans les poids du modèle et se déclenche avant même que la génération du contenu ne commence.

La deuxième couche regroupe les mesures côté plateforme. L'application Sora comprend une vérification de l'âge, des restrictions régionales pour certains types de contenus, des systèmes de signalement et des outils de modération permettant aux utilisateurs de signaler des infractions.

L'attribution des contenus mérite une attention particulière. Toutes les vidéos créées via Sora sont étiquetées selon la norme C2PA (Coalition for Content Provenance and Authenticity), un ensemble de métadonnées techniques qui permet d'identifier un contenu comme généré par IA. Autrement dit, même après le téléchargement et la republication d'une vidéo, son origine peut être établie techniquement. L'initiative vise à lutter contre la désinformation : rédactions, plateformes et utilisateurs ordinaires pourront voir ce qui a été créé par IA et ce qui a été filmé avec une caméra.

Un autre élément important est le test externe. Avant le lancement public, OpenAI a mené un red teaming à grande échelle : des chercheurs en sécurité indépendants, des cinéastes et des organisations de défense des droits humains ont soumis le modèle à des tests de résistance, en cherchant des vulnérabilités et des moyens de contourner les restrictions. Leurs conclusions ont directement influencé la configuration finale du système de sécurité.

L'entreprise reconnaît ouvertement qu'aucun mécanisme de protection n'offre de garanties absolues. Le pari repose sur une défense en couches : restrictions du modèle, règles de la plateforme, attribution technique et outils de modération. Plutôt que de chercher un filtre unique et parfait, OpenAI construit un système de barrières complémentaires, dont chacune complique les abus.

Mettre des modèles vidéo puissants à la disposition du public est toujours un compromis entre potentiel créatif et risques. Plus le contenu synthétique est réaliste, plus les enjeux sont élevés pour la société. Le véritable test de l'approche d'OpenAI viendra non pas au moment de la sortie, mais lorsque des millions de personnes commenceront à utiliser Sora 2 dans des contextes très variés, y compris imprévisibles.