OpenAI publie un plan pour protéger les enfants de l'exploitation sexuelle facilitée par l'IA

OpenAI a publié un nouveau document intitulé Child Safety Blueprint, un plan de sécurité des enfants dans lequel l'entreprise expose son approche pour empêcher l'utilisation de l'IA générative dans la création et la diffusion de contenus d'exploitation sexuelle d'enfants. Le document paraît sous une pression croissante des régulateurs, des organisations de défense des droits et de l'opinion publique.

L'IA générative a donné au problème une ampleur radicalement nouvelle. Alors que la production de CSAM (contenus d'exploitation sexuelle d'enfants) exigeait auparavant un contact avec des victimes réelles, les malfaiteurs peuvent désormais créer des images et des vidéos synthétiques réalistes sans le moindre contact physique avec un enfant. Selon le Centre national pour les enfants disparus et exploités (NCMEC), le nombre de signalements liés à ce type de contenu généré par IA a été multiplié ces deux dernières années.

OpenAI décrit quatre axes de travail. Le premier est la prévention au niveau du modèle : les systèmes sont entraînés à rejeter les requêtes susceptibles de conduire à la génération de contenus nuisibles, et les modèles sont testés face aux « jailbreaks », des techniques de contournement qui permettent de violer les restrictions. Le deuxième est la réaction et le signalement : l'entreprise s'appuie sur les bases de hachages du NCMEC et de la Technology Coalition pour bloquer automatiquement la transmission de contenus connus, et transmet régulièrement des rapports aux forces de l'ordre.

Le troisième est le partenariat avec des organisations qui œuvrent concrètement à la protection des enfants. Le quatrième est la recherche sur de nouveaux types d'attaques et de vulnérabilités à mesure que la technologie évolue.

Les victimes synthétiques posent une difficulté particulière : des enfants qui n'existent pas dans la réalité, mais dont l'IA produit des images réalistes. L'encadrement juridique reste hétérogène : dans certaines juridictions, le CSAM synthétique est entièrement assimilé aux contenus impliquant de vraies victimes, dans d'autres il se trouve dans une zone grise juridique. La position d'OpenAI est sans ambiguïté : tout contenu de ce type doit être qualifié de CSAM, quelle que soit sa méthode de création.

La réaction du secteur est contrastée. Une partie des experts y voit une étape importante vers la transparence et la standardisation. D'autres critiques soulignent que l'écart entre les engagements affichés et l'efficacité réelle des systèmes de protection peut être important : plusieurs groupes de recherche ont déjà documenté des cas où les modèles ont pu être contournés via des dialogues en plusieurs étapes. La robustesse de la défense d'OpenAI face à de telles attaques, seule la pratique le dira.

Parallèlement, le secteur débat de standards communs. La Technology Coalition, qui réunit Amazon, Apple, Google, Meta*, Microsoft et plusieurs autres entreprises, élabore un cadre de sécurité universel pour les développeurs d'IA générative. La vitesse de consolidation du secteur reste toutefois inférieure à celle de l'apparition de nouvelles menaces.

La publication du plan de sécurité des enfants signale que la protection des mineurs devient un élément obligatoire de l'agenda des entreprises d'IA, au même titre que la confidentialité des données et la lutte contre la désinformation. Les entreprises qui n'ont pas défini leurs propres standards, de leur plein gré ou sous la pression des régulateurs, risquent de se heurter à des restrictions législatives et à de lourdes pertes de réputation.

*Meta a été reconnue organisation extrémiste et est interdite en Russie.