OpenAI publie un détecteur de CSAM : les modérateurs voient 48 % d'images en moins
OpenAI a publié un détecteur de CSAM, le sigle désignant les contenus d'abus sexuels sur mineurs, y compris ceux générés par IA. Le modèle attribue un score à chaque nouvelle image, et la décision finale revient au modérateur. Lors des tests menés avec des partenaires, il a signalé 48 % d'images en moins tout en détectant autant de véritables infractions : les modérateurs ont donc moins de clichés inoffensifs à examiner à la main. Pour les plateformes qui reçoivent beaucoup de photos, cela représente un gain de temps.
Traité par IA depuis TechCrunch ; édité par Hamidun News
Toute plateforme où les utilisateurs téléversent des images ou en génèrent avec l'IA finit tôt ou tard par être confrontée au CSAM, l'acronyme désignant les contenus d'abus sexuels sur mineurs. Les modèles génératifs ont aggravé le problème : ces images peuvent désormais non seulement être diffusées, mais aussi créées. OpenAI annonce un ensemble de mesures dans quatre directions : un nouveau classificateur d'images, des avertissements dans ChatGPT, un guide pour les développeurs et des outils destinés à la police.
Le chiffre phare de ce dispositif est 48 %. Lors des premiers tests avec des partenaires, le classificateur a signalé 48 % d'images en moins que l'approche précédente, tout en retrouvant le même nombre de véritables infractions. En clair, le modérateur reçoit moins d'images inoffensives à examiner visuellement, sans que les cas réels ne passent à travers les mailles.
Classificateur : moins de travail manuel superflu
Le nouveau modèle recherche des indices visuels de violence sur les images, y compris celles générées par IA. Il fonctionne aussi sur des images qu'il n'a jamais rencontrées, et ne se limite donc pas à une comparaison avec une base de fichiers déjà connus. En sortie, le modérateur reçoit un score. Il ne rend pas de verdict : le score indique sur quoi porter l'attention en premier et comment agir ensuite.
OpenAI a développé cet outil avec le National Center for Missing and Exploited Children (NCMEC). L'accès est distribué gratuitement via une API, mais pour l'instant seulement à certaines organisations sélectionnées. La diffusion est assurée avec Tech Coalition et ROOST.
Second chiffre issu des tests : les images signalées par le classificateur sont deux fois plus souvent de véritables infractions. Pour les modérateurs, il s'agit aussi d'une question de charge psychologique : chaque image douteuse superflue doit être examinée par un humain.
Avertissements dans ChatGPT et consignes pour les développeurs
ChatGPT bloquait déjà le CSAM et les requêtes qui s'y rapportent. Désormais, face à une telle tentative, le chat affiche un avertissement et oriente la personne vers une aide spécialisée, afin d'interrompre le comportement nuisible. Le compte est ensuite bloqué pendant 24 heures. En cas de nouvelles infractions, il peut être supprimé définitivement.
OpenAI a rédigé ces avertissements avec les organisations Protect Children et Lucy Faithfull Foundation, ainsi qu'avec le chercheur Joel Scanlan de l'Université de Tasmanie. Ce dernier a évalué de manière indépendante le pilote de messages destinés à dissuader les personnes de formuler de telles requêtes.
Par ailleurs, l'entreprise a publié un guide pour les développeurs qui utilisent ses outils. Il explique comment prévenir et détecter le CSAM, et comment aider les utilisateurs à le signaler. Selon OpenAI, lors des premiers tests, ce guide a aidé plusieurs développeurs à intégrer des outils de protection de l'enfance et à s'inscrire pour transmettre des signalements au NCMEC.
Pour les forces de l'ordre qui enquêtent sur des affaires de sécurité des enfants, l'entreprise ajoute des fonctionnalités d'IA : plugins, outils d'investigation et analyse de volumes complexes de données. L'accès est géré par les administrateurs du programme. Les enquêteurs bénéficient d'une formation et d'un guide de terrain sur l'utilisation de l'IA.
Contexte et limites
Cette annonce intervient sous la pression exercée sur l'entreprise. Des plaintes ont été déposées contre OpenAI, accusant la technologie de nuire aux utilisateurs, en particulier aux enfants. L'organisation Common Sense Media a qualifié les produits d'OpenAI destinés aux adolescents de « risque inacceptable ». D'autres chatbots, notamment Grok, ont servi à créer des images sexualisées sans consentement, y compris d'enfants. Au cours des 12 derniers mois, OpenAI a déjà publié un plan de sécurité, mis à jour ses règles de contenu, réentraîné ses modèles et lancé une version de ChatGPT pour les adolescents.
Des réserves s'imposent. Les chiffres de 48 % et de « deux fois plus » proviennent de premiers tests menés avec des partenaires, et c'est pour l'instant l'entreprise elle-même qui les communique. L'article ne contient aucune vérification indépendante. Tout le monde n'aura pas accès au classificateur : il est attribué à des entreprises choisies. Le score reste une aide à la décision, la décision finale revenant à un humain.
Pour les équipes produit, la conclusion est simple. Si un service permet de téléverser ou de générer des images, il faut anticiper la chaîne complète : évaluation automatique, vérification manuelle, signalement à l'organisme compétent. Le guide d'OpenAI peut servir de point de départ, et si votre entreprise travaille sur la modération, il vaut la peine de vous renseigner sur l'accès au classificateur via Tech Coalition ou ROOST.
- 21 nov. 2026Les chatbots ont battu les champions du monde de débat : 13 à 15 faits par conversation contre 5 à 8 pour les humains
- 21 nov. 2026Roskomnadzor a dépensé 2,27 milliards de roubles dans une IA qui traquera les VPN dans le trafic
- 21 nov. 2026Anthropic собрала на IPO 81 млрд долларов, акции открылись на 34% выше цены
- 21 nov. 2026OpenAI a dégagé 10 milliards de dollars de revenus au trimestre (+50 %), mais sa perte s'est creusée à 10,9 milliards de dollars
Questions clés sur cet article
Que sait-on sur Classificateur : moins de travail manuel superflu ?
Le nouveau modèle recherche des indices visuels de violence sur les images, y compris celles générées par IA. Il fonctionne aussi sur des images qu'il n'a jamais rencontrées, et ne se limite donc pas à une comparaison avec une base de fichiers déjà connus. En sortie, le modérateur reçoit un score. Il ne rend pas de verdict : le score indique sur quoi porter l'attention en premier et comment agir ensuite. OpenAI a développé cet outil avec le National Center for Missing and Exploited Children (NCMEC).
Que sait-on sur Avertissements dans ChatGPT et consignes pour les développeurs ?
ChatGPT bloquait déjà le CSAM et les requêtes qui s'y rapportent. Désormais, face à une telle tentative, le chat affiche un avertissement et oriente la personne vers une aide spécialisée, afin d'interrompre le comportement nuisible. Le compte est ensuite bloqué pendant 24 heures. En cas de nouvelles infractions, il peut être supprimé définitivement.
Que sait-on sur Contexte et limites ?
Cette annonce intervient sous la pression exercée sur l'entreprise. Des plaintes ont été déposées contre OpenAI, accusant la technologie de nuire aux utilisateurs, en particulier aux enfants. L'organisation Common Sense Media a qualifié les produits d'OpenAI destinés aux adolescents de « risque inacceptable ». D'autres chatbots, notamment Grok, ont servi à créer des images sexualisées sans consentement, y compris d'enfants.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.