Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarThe Verge→ original

OpenAI publie un filtre de deepfakes pédocriminels pour les enquêteurs : 48 % de fausses alertes en moins

Les lignes d'urgence sur les violences faites aux enfants sont débordées de faux générés par IA : en 2025, le centre NCMEC a reçu 400 000 signalements concernant l'IA générative, contre 67 000 un an plus tôt. OpenAI a publié un classificateur qui détecte les images d'abus sexuels sur mineurs (CSAM) et indique si elles ont été générées par IA. Selon la société, il produit 48 % de faux positifs en moins, et les contenus signalés sont deux fois plus souvent réellement illégaux. Les plateformes qui hébergent des photos d'utilisateurs devraient intégrer ce tri à leur modération.

Traité par IA depuis The Verge ; édité par Hamidun News
OpenAI publie un filtre de deepfakes pédocriminels pour les enquêteurs : 48 % de fausses alertes en moins
Source : The Verge. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireThe Verge ↗
Rédacteur en chef
Chiffre clé #1L'accès gratuit est réservé aux organisations vérifiées
Chiffre clé #2Première tentative de générer ce type de contenu dans ChatGPT : pause de 24 heures
Chiffre clé #3Take It Down impose de supprimer les images intimes publiées sans consentement dans un délai de 48 heures

Imaginez un enquêteur de permanence dont la file d'attente compte des centaines de signalements inquiétants concernant des images d'enfants, dont une grande partie sont des faux dessinés par un réseau de neurones, ou de simples images sans danger. Pendant qu'il trie ce bruit, un véritable enfant qui a besoin d'aide attend. C'est précisément le problème auquel sont confrontés les services américains, et OpenAI a présenté lors d'un briefing à Washington un outil de tri : un classificateur, c'est-à-dire un modèle qui examine une image et détermine si elle contient des violences sexuelles sur mineurs (on parle de CSAM dans la pratique anglophone).

Résultat annoncé : 48 % de faux positifs en moins, et parmi les images signalées, la proportion de celles qui contiennent réellement du matériel interdit est deux fois plus élevée.

Ce qu'OpenAI a publié

La principale particularité du classificateur est une étiquette distincte « généré par IA ». Selon John Buckley, responsable des politiques publiques d'OpenAI en matière de sécurité des enfants, c'est le premier outil de ce type largement accessible doté d'un tel indicateur. Il est conçu pour analyser des images provenant de sources variées, y compris de modèles ouverts et d'applications de type « déshabillage ».

En pratique, que signifient ces chiffres ? Si le système produisait auparavant, disons, cent alertes, il en signale désormais environ deux fois moins en trop, et la part de découvertes réelles parmi les restantes double. L'enquêteur a moins de bruit dans sa file et davantage de matière exploitable. Réserve : ces données proviennent d'OpenAI elle-même, et l'article ne comporte aucune vérification indépendante.

Outre le modèle, l'entreprise promet trois choses : un accès gratuit pour les organisations vérifiées, des recommandations méthodologiques à destination des développeurs sur la manière de détecter ce type de contenu, et une formation des agents des forces de l'ordre sur la façon dont l'IA peut faciliter les enquêtes.

Pourquoi c'est devenu une priorité urgente

Aux États-Unis, les signalements concernant ce type de matériel sont collectés et triés par le Centre national pour les enfants disparus et exploités (NCMEC), via le système CyberTipline. En 2024, il a reçu 67 000 signalements liés à l'IA générative ; en 2025, ce chiffre atteint 400 000. Des chercheurs avertissent qu'une telle charge pourrait devenir « ingérable ». Le problème ne tient pas seulement au volume : le flux de faux clichés empêche de savoir si un enfant précis souffre en ce moment même.

Le procureur général de Caroline du Nord, Jeff Jackson, coprésident du groupe de travail sur l'IA de l'AG Alliance, a qualifié la hausse des signalements d'« explosive » et déclaré qu'à ce rythme, « nous allons échouer dans notre mission ». Selon lui, les procureurs interviennent habituellement après que le préjudice a eu lieu, alors qu'il s'agit ici d'essayer un modèle de prévention conjointe. Il a lui-même qualifié l'initiative de « fondamentalement une expérience ».

John Buckley a souligné qu'il est important de distinguer un enfant fictif d'un enfant réel pour transmettre les signalements à la police. Il estime néanmoins que les lois doivent reconnaître le préjudice causé par les versions générées par IA : celles-ci minent les normes sociales et apparaissent souvent aux côtés de matériel représentant de vrais enfants.

Pressions réglementaires et mesures au sein de ChatGPT

Le contexte est difficile pour OpenAI. Dans 48 États américains, des lois encadrent les deepfakes sexuels, et la loi Take It Down oblige les plateformes à supprimer dans un délai de 48 heures les images intimes publiées sans consentement, qu'elles soient authentiques ou générées. Le nouveau Congrès pourrait durcir les exigences envers les entreprises d'IA. Le mois dernier, huit États ont intenté une action en justice contre OpenAI pour d'autres préjudices présumés envers les enfants, notamment des accusations selon lesquelles ChatGPT aurait encouragé la consommation de substances interdites et le suicide.

Le générateur d'images de ChatGPT refusait déjà ce type de requêtes. Désormais, l'utilisateur qui tente de les formuler voit un avertissement élaboré avec des experts, l'invitant à demander de l'aide. Une première tentative entraîne une suspension de l'accès à ChatGPT pendant 24 heures, accompagnée d'un avertissement indiquant que le compte pourrait être définitivement fermé. OpenAI affirme signaler au NCMEC tous les cas de CSAM.

Ce qu'en retiennent les professionnels

Premièrement, la distinction « IA ou pas IA » devient un outil de hiérarchisation opérationnel, et l'on attendra la même chose des plateformes qui hébergent des images. Deuxièmement, il existe des limites : l'accès est réservé aux organisations vérifiées, et non à tout développeur, et pour l'instant il s'agit d'une expérimentation. Si vous proposez la génération d'images ou l'hébergement de photos d'utilisateurs, il est judicieux de penser en amont la chaîne complète : filtre à l'entrée, tri des contenus suspects, transmission des signalements aux autorités compétentes.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qu'OpenAI a publié ?

La principale particularité du classificateur est une étiquette distincte « généré par IA ». Selon John Buckley, responsable des politiques publiques d'OpenAI en matière de sécurité des enfants, c'est le premier outil de ce type largement accessible doté d'un tel indicateur. Il est conçu pour analyser des images provenant de sources variées, y compris de modèles ouverts et d'applications de type « déshabillage ». En pratique, que signifient ces chiffres ?

Pourquoi c'est devenu une priorité urgente?

Aux États-Unis, les signalements concernant ce type de matériel sont collectés et triés par le Centre national pour les enfants disparus et exploités (NCMEC), via le système CyberTipline. En 2024, il a reçu 67 000 signalements liés à l'IA générative ; en 2025, ce chiffre atteint 400 000. Des chercheurs avertissent qu'une telle charge pourrait devenir « ingérable ». Le problème ne tient pas seulement au volume : le flux de faux clichés empêche de savoir si un enfant précis souffre en ce moment même.

Que sait-on sur Pressions réglementaires et mesures au sein de ChatGPT ?

Le contexte est difficile pour OpenAI. Dans 48 États américains, des lois encadrent les deepfakes sexuels, et la loi Take It Down oblige les plateformes à supprimer dans un délai de 48 heures les images intimes publiées sans consentement, qu'elles soient authentiques ou générées. Le nouveau Congrès pourrait durcir les exigences envers les entreprises d'IA.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…