Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAPI / Produit · Prêt à l'emploiTechCrunch→ original

OpenAI publie un détecteur de CSAM : les modérateurs voient 48 % d'images en moins

OpenAI a publié un détecteur de CSAM, le sigle désignant les contenus d'abus sexuels sur mineurs, y compris ceux générés par IA. Le modèle attribue un score à chaque nouvelle image, et la décision finale revient au modérateur. Lors des tests menés avec des partenaires, il a signalé 48 % d'images en moins tout en détectant autant de véritables infractions : les modérateurs ont donc moins de clichés inoffensifs à examiner à la main. Pour les plateformes qui reçoivent beaucoup de photos, cela représente un gain de temps.

Traité par IA depuis TechCrunch ; édité par Hamidun News
OpenAI publie un détecteur de CSAM : les modérateurs voient 48 % d'images en moins
Source : TechCrunch. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTechCrunch ↗
Rédacteur en chef
Chiffre clé #1Les images signalées sont deux fois plus souvent de véritables infractions
Chiffre clé #2ChatGPT affiche un avertissement et bloque le compte pendant 24 heures
Chiffre clé #3L'accès à l'API est gratuit, mais réservé pour l'instant à certaines entreprises sélectionnées

Toute plateforme où les utilisateurs téléversent des images ou en génèrent avec l'IA finit tôt ou tard par être confrontée au CSAM, l'acronyme désignant les contenus d'abus sexuels sur mineurs. Les modèles génératifs ont aggravé le problème : ces images peuvent désormais non seulement être diffusées, mais aussi créées. OpenAI annonce un ensemble de mesures dans quatre directions : un nouveau classificateur d'images, des avertissements dans ChatGPT, un guide pour les développeurs et des outils destinés à la police.

Le chiffre phare de ce dispositif est 48 %. Lors des premiers tests avec des partenaires, le classificateur a signalé 48 % d'images en moins que l'approche précédente, tout en retrouvant le même nombre de véritables infractions. En clair, le modérateur reçoit moins d'images inoffensives à examiner visuellement, sans que les cas réels ne passent à travers les mailles.

Classificateur : moins de travail manuel superflu

Le nouveau modèle recherche des indices visuels de violence sur les images, y compris celles générées par IA. Il fonctionne aussi sur des images qu'il n'a jamais rencontrées, et ne se limite donc pas à une comparaison avec une base de fichiers déjà connus. En sortie, le modérateur reçoit un score. Il ne rend pas de verdict : le score indique sur quoi porter l'attention en premier et comment agir ensuite.

OpenAI a développé cet outil avec le National Center for Missing and Exploited Children (NCMEC). L'accès est distribué gratuitement via une API, mais pour l'instant seulement à certaines organisations sélectionnées. La diffusion est assurée avec Tech Coalition et ROOST.

Second chiffre issu des tests : les images signalées par le classificateur sont deux fois plus souvent de véritables infractions. Pour les modérateurs, il s'agit aussi d'une question de charge psychologique : chaque image douteuse superflue doit être examinée par un humain.

Avertissements dans ChatGPT et consignes pour les développeurs

ChatGPT bloquait déjà le CSAM et les requêtes qui s'y rapportent. Désormais, face à une telle tentative, le chat affiche un avertissement et oriente la personne vers une aide spécialisée, afin d'interrompre le comportement nuisible. Le compte est ensuite bloqué pendant 24 heures. En cas de nouvelles infractions, il peut être supprimé définitivement.

OpenAI a rédigé ces avertissements avec les organisations Protect Children et Lucy Faithfull Foundation, ainsi qu'avec le chercheur Joel Scanlan de l'Université de Tasmanie. Ce dernier a évalué de manière indépendante le pilote de messages destinés à dissuader les personnes de formuler de telles requêtes.

Par ailleurs, l'entreprise a publié un guide pour les développeurs qui utilisent ses outils. Il explique comment prévenir et détecter le CSAM, et comment aider les utilisateurs à le signaler. Selon OpenAI, lors des premiers tests, ce guide a aidé plusieurs développeurs à intégrer des outils de protection de l'enfance et à s'inscrire pour transmettre des signalements au NCMEC.

Pour les forces de l'ordre qui enquêtent sur des affaires de sécurité des enfants, l'entreprise ajoute des fonctionnalités d'IA : plugins, outils d'investigation et analyse de volumes complexes de données. L'accès est géré par les administrateurs du programme. Les enquêteurs bénéficient d'une formation et d'un guide de terrain sur l'utilisation de l'IA.

Contexte et limites

Cette annonce intervient sous la pression exercée sur l'entreprise. Des plaintes ont été déposées contre OpenAI, accusant la technologie de nuire aux utilisateurs, en particulier aux enfants. L'organisation Common Sense Media a qualifié les produits d'OpenAI destinés aux adolescents de « risque inacceptable ». D'autres chatbots, notamment Grok, ont servi à créer des images sexualisées sans consentement, y compris d'enfants. Au cours des 12 derniers mois, OpenAI a déjà publié un plan de sécurité, mis à jour ses règles de contenu, réentraîné ses modèles et lancé une version de ChatGPT pour les adolescents.

Des réserves s'imposent. Les chiffres de 48 % et de « deux fois plus » proviennent de premiers tests menés avec des partenaires, et c'est pour l'instant l'entreprise elle-même qui les communique. L'article ne contient aucune vérification indépendante. Tout le monde n'aura pas accès au classificateur : il est attribué à des entreprises choisies. Le score reste une aide à la décision, la décision finale revenant à un humain.

Pour les équipes produit, la conclusion est simple. Si un service permet de téléverser ou de générer des images, il faut anticiper la chaîne complète : évaluation automatique, vérification manuelle, signalement à l'organisme compétent. Le guide d'OpenAI peut servir de point de départ, et si votre entreprise travaille sur la modération, il vaut la peine de vous renseigner sur l'accès au classificateur via Tech Coalition ou ROOST.

Dossier

Questions clés sur cet article

Que sait-on sur Classificateur : moins de travail manuel superflu ?

Le nouveau modèle recherche des indices visuels de violence sur les images, y compris celles générées par IA. Il fonctionne aussi sur des images qu'il n'a jamais rencontrées, et ne se limite donc pas à une comparaison avec une base de fichiers déjà connus. En sortie, le modérateur reçoit un score. Il ne rend pas de verdict : le score indique sur quoi porter l'attention en premier et comment agir ensuite. OpenAI a développé cet outil avec le National Center for Missing and Exploited Children (NCMEC).

Que sait-on sur Avertissements dans ChatGPT et consignes pour les développeurs ?

ChatGPT bloquait déjà le CSAM et les requêtes qui s'y rapportent. Désormais, face à une telle tentative, le chat affiche un avertissement et oriente la personne vers une aide spécialisée, afin d'interrompre le comportement nuisible. Le compte est ensuite bloqué pendant 24 heures. En cas de nouvelles infractions, il peut être supprimé définitivement.

Que sait-on sur Contexte et limites ?

Cette annonce intervient sous la pression exercée sur l'entreprise. Des plaintes ont été déposées contre OpenAI, accusant la technologie de nuire aux utilisateurs, en particulier aux enfants. L'organisation Common Sense Media a qualifié les produits d'OpenAI destinés aux adolescents de « risque inacceptable ». D'autres chatbots, notamment Grok, ont servi à créer des images sexualisées sans consentement, y compris d'enfants.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…