Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAPI / Produit · Prêt à l'emploiOpenAI Blog→ original

OpenAI met à disposition gratuitement un détecteur de CSAM : il signale 48 % d'images en moins pour les mêmes détections

Le CSAM désigne les contenus de violences sexuelles sur mineurs, et les plateformes qui hébergent des images doivent les repérer. OpenAI a publié un classificateur capable de détecter ces images, y compris celles générées par IA, et le met gratuitement à disposition des organisations vérifiées via son API. Lors d'un test, il a signalé 48 % d'images en moins que la protection précédente, tout en trouvant presque autant de violations. Les modérateurs sont ainsi moins exposés à des contenus lourds.

Traité par IA depuis OpenAI Blog ; édité par Hamidun News
OpenAI met à disposition gratuitement un détecteur de CSAM : il signale 48 % d'images en moins pour les mêmes détections
Source : OpenAI Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireOpenAI Blog ↗
Rédacteur en chef
Chiffre clé #1La part de véritables violations parmi les images signalées a à peu près doublé
Falles modérateurs ont confirmé 72 % des détections sûres comme du nouveau CSAM
SafetyKitle modèle a trouvé 90 % des dessins et animations sexualisant des enfants

Le CSAM désigne les contenus de violences sexuelles sur mineurs. Tout service où des utilisateurs importent des images ou en génèrent avec un réseau de neurones finit tôt ou tard par y être confronté. Le problème n'est pas seulement juridique.

Des modérateurs humains sont obligés de visionner ces images, et un filtre défaillant les submerge de fausses alertes. Le 16 novembre 2026, OpenAI a présenté un ensemble de mesures, dont la principale est un nouveau classificateur d'images. Il signale 48 % d'images en moins que la protection précédente de l'entreprise, pour un nombre de violations détectées presque identique.

À titre d'illustration, si l'ancien filtre envoyait 1000 images aux modérateurs, le nouveau en enverrait environ 520, et parmi elles il y aurait autant de véritables violations. Le classificateur est disponible gratuitement pour les organisations vérifiées.

Ce que fait le classificateur et qui peut l'obtenir

Le modèle analyse les images et recherche des signes visuels de violence. Il vise les nouveaux contenus que le système n'a jamais vus. C'est important, car les bases classiques de hachages ne retrouvent que des fichiers déjà connus. Le classificateur ne rend pas un verdict binaire « oui ou non » : il fournit des scores qui permettent aux vérificateurs de décider quelles images examiner en premier.

OpenAI le présente comme le premier classificateur CSAM largement accessible qui indique séparément si un contenu a pu être généré par IA. Le modèle a été entraîné et évalué avec la participation du NCMEC, le Centre national américain pour les enfants disparus et exploités, qui gère le CyberTipline, le canal unique de signalement de l'exploitation d'enfants en ligne.

L'accès est réservé aux organisations vérifiées, via l'API d'OpenAI, et il est gratuit. Pour assurer la diffusion, l'entreprise s'est associée à Tech Coalition et à ROOST. La demande s'effectue via un formulaire. Le modèle dispose d'une model card.

Selon OpenAI elle-même, sur les images des utilisateurs, le nouveau classificateur signalerait 48 % d'images en moins que la protection actuelle, tout en trouvant à peu près autant de violations. Parmi les images signalées, les cas réels apparaissaient environ deux fois plus souvent. Les partenaires en accès anticipé citent leurs propres chiffres :

  • fal : sur des images de production vérifiées par des humains, les modérateurs ont confirmé 72 % des détections sûres comme du nouveau CSAM ;
  • invideo AI : un cas signalé sur quatre a abouti à un bannissement ;
  • SafetyKit : sur des dessins et animations sexualisant des enfants, le modèle a trouvé 90 % des cas.

Avertissements dans ChatGPT

La seconde partie concerne le chatbot lui-même. Les requêtes de CSAM étaient déjà interdites dans ChatGPT, et les modèles sont entraînés à refuser. Désormais, des avertissements viennent interrompre les tentatives de recherche de tels contenus. Ils expliquent les conséquences et orientent la personne vers des spécialistes capables d'aider à mettre fin à ce comportement nuisible. Le texte affirme explicitement que la sexualisation des enfants cause un préjudice, même lorsque le contenu est généré par IA.

Une échelle de mesures s'applique ensuite. La conversation est supprimée et l'accès à ChatGPT est suspendu pendant 24 heures. En cas de récidive, les restrictions s'allongent, avec possibilité de fermeture du compte et de signalement aux autorités. Cette approche a été élaborée avec Protect Children, la Lucy Faithfull Foundation et des conseillers académiques des universités de Kent et de Tasmanie.

Ce que cela change pour les développeurs

OpenAI a publié un guide pratique sur le CSAM : comment prévenir les abus, détecter les contenus et agir. Il a été rédigé avec la participation de Tech Coalition, Thorn, NCMEC et Internet Watch Foundation. Il décrit :

  • les règles d'utilisation du produit ;
  • les moyens par lesquels les utilisateurs signalent les problèmes ;
  • les outils de détection ;
  • le processus de vérification et de transmission des signalements ;
  • les identifiants de sécurité qui permettent de relier un abus à un utilisateur précis ;
  • le soutien apporté aux modérateurs eux-mêmes.

Le guide est conçu pour être utilisé avec l'API de modération, la console de vérification ROOST Coop et des services spécialisés comme Thorn Safer. Par ailleurs, OpenAI, Anthropic et Google ont commandé ensemble des recommandations sur la manière dont les systèmes d'IA doivent réagir lorsque des utilisateurs avouent des violences. Elles ont été publiées par Tech Coalition. Selon l'entreprise, depuis la publication du guide, davantage de développeurs ont intégré des outils de sécurité pour l'enfance et se sont inscrits pour transmettre des signalements au NCMEC.

Aux forces de l'ordre qui enquêtent sur ces affaires, OpenAI propose une formation et des outils d'IA. Le premier aide à analyser de longues conversations et des réponses à des demandes juridiques, à identifier des liens et à établir une chronologie sourcée. L'accès dépend de l'autorisation de l'organisme concerné.

Limites

Tous les chiffres proviennent des tests d'OpenAI et de ses premiers partenaires ; l'article ne contient aucune vérification indépendante. Les échantillons et la méthodologie ne sont pas détaillés et sont à consulter dans la model card. L'accès étant réservé aux organisations vérifiées, une petite startup ne pourra pas utiliser le modèle sans l'approbation de sa demande.

Le conseil pratique pour les équipes produit : si vous proposez l'import ou la génération d'images, anticipez à l'avance la chaîne complète composée du filtre, de la file de vérification, de la transmission des signalements et de la protection des modérateurs. Le guide et le modèle gratuit rendent ce parcours nettement moins coûteux.

Dossier

Questions clés sur cet article

Que sait-on sur Ce que fait le classificateur et qui peut l'obtenir ?

Le modèle analyse les images et recherche des signes visuels de violence. Il vise les nouveaux contenus que le système n'a jamais vus. C'est important, car les bases classiques de hachages ne retrouvent que des fichiers déjà connus. Le classificateur ne rend pas un verdict binaire « oui ou non » : il fournit des scores qui permettent aux vérificateurs de décider quelles images examiner en premier.

Que sait-on sur Avertissements dans ChatGPT ?

La seconde partie concerne le chatbot lui-même. Les requêtes de CSAM étaient déjà interdites dans ChatGPT, et les modèles sont entraînés à refuser. Désormais, des avertissements viennent interrompre les tentatives de recherche de tels contenus. Ils expliquent les conséquences et orientent la personne vers des spécialistes capables d'aider à mettre fin à ce comportement nuisible. Le texte affirme explicitement que la sexualisation des enfants cause un préjudice, même lorsque le contenu est généré par IA.

Que sait-on sur Ce que cela change pour les développeurs ?

OpenAI a publié un guide pratique sur le CSAM : comment prévenir les abus, détecter les contenus et agir. Il a été rédigé avec la participation de Tech Coalition, Thorn, NCMEC et Internet Watch Foundation. Il décrit : les règles d'utilisation du produit ; les moyens par lesquels les utilisateurs signalent les problèmes ; les outils de détection ; le processus de vérification et de transmission des signalements ; les identifiants de sécurité qui permettent de relier un abus à un utilisateur…

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…