L'IA de Meta submerge les enquêteurs de signalements « poubelle » sur les violences faites aux enfants

Quand une entreprise technologique affirme utiliser l'intelligence artificielle pour protéger les enfants, cela sonne comme un bien incontestable. Mais que se passe-t-il quand cette IA fonctionne si mal qu'elle cesse d'être un outil de protection pour devenir un obstacle pour ceux qui enquêtent réellement sur les crimes contre les mineurs ? C'est précisément la question posée lors du procès contre Meta dans l'État du Nouveau-Mexique.

Benjamin Zwibel, agent spécial du groupe interagences de lutte contre les crimes visant les enfants sur internet (ICAC), a livré un témoignage difficile à qualifier autrement que d'accablant. « Nous recevons de Meta un nombre énorme de signalements qui sont, par essence, des déchets », a-t-il déclaré au tribunal. L'ICAC est un réseau national de forces de l'ordre, coordonné par le département de la Justice des États-Unis, chargé d'enquêter sur les cas d'exploitation et d'abus sexuels d'enfants en ligne et de les poursuivre en justice. Quand ceux qui accomplissent ce travail éprouvant qualifient vos rapports de déchets, c'est un signal sérieux.

Le problème est systémique. Meta, propriétaire de Facebook, Instagram et WhatsApp, utilise des systèmes automatisés fondés sur l'IA pour détecter les contenus d'abus sexuels sur enfants (CSAM). Lorsque le système repère un contenu suspect, il génère un rapport transmis au Centre national pour les enfants disparus et exploités (NCMEC), puis de là aux forces de l'ordre, dont l'ICAC. En théorie, c'est une chaîne idéale. En pratique, à en croire les enquêteurs, la modération par IA de Meta produit tant de faux positifs que les vraies affaires se noient dans un flot de signalements de mauvaise qualité. Chaque rapport doit être vérifié, et c'est du temps d'enquêteur qui aurait pu servir à des dossiers réels.

Il faut élargir le contexte. Le procès du Nouveau-Mexique s'inscrit dans une vague croissante de poursuites d'États américains contre Meta. Le procureur général du Nouveau-Mexique soutient que les plateformes de l'entreprise placent systématiquement le profit avant la sécurité des enfants. L'accusation fait écho aux témoignages d'anciens employés et aux documents internes divulgués en 2021 par Frances Haugen. Meta, de son côté, rejette les accusations et invoque les protections mises en place, notamment les comptes d'adolescents avec paramètres de confidentialité par défaut. Mais le témoignage de Zwibel frappe l'un des arguments clés de la défense : l'entreprise ne peut pas prétendre lutter activement contre le CSAM tout en ensevelissant les enquêteurs sous des rapports inutiles.

Le volet technique du problème des signalements « poubelle » est bien connu des spécialistes de l'apprentissage automatique. Les systèmes de classification de contenu jouent sur un équilibre entre précision et rappel : on peut régler un modèle pour qu'il attrape presque tout ce qui est suspect, mais les faux positifs explosent alors. Si l'on relève le seuil, une partie du CSAM réel passe entre les mailles.

Meta a manifestement choisi la stratégie de couverture maximale, ce qui lui permet d'afficher des chiffres impressionnants de cas détectés. Mais ces chiffres sont en grande partie creux, et ce sont les enquêteurs qui en paient le prix et, in fine, les enfants dont les dossiers réels sont retardés par la surcharge du système.

Cette situation met au jour un problème plus profond du secteur : l'automatisation de la modération sert souvent moins à protéger les utilisateurs qu'à donner l'apparence d'une action active. Pour Meta, des millions de rapports générés automatiquement sont un argument devant les tribunaux et les régulateurs. Pour l'enquêteur qui doit vérifier chacun d'eux à la main, c'est un cauchemar bureaucratique qui lui prend du temps sur les vraies affaires. L'échelle des plateformes de Meta, avec des milliards d'utilisateurs, rend le problème particulièrement aigu : même un faible pourcentage de faux positifs devient une avalanche en valeur absolue.

Le procès du Nouveau-Mexique est loin d'être terminé, mais le témoignage de Zwibel est déjà l'un de ses moments les plus cités. Il pose au secteur une question dérangeante : suffit-il de déployer de l'IA et de rendre compte du nombre de signalements envoyés, ou les entreprises doivent-elles répondre de la qualité de ces signalements ? Si l'automatisation de la modération crée plus de problèmes qu'elle n'en résout, elle cesse d'être un outil de sécurité et devient un outil de relations publiques. Et quand il s'agit de la sécurité des enfants, le prix d'une telle approche ne se mesure pas en pertes de réputation, mais en vies réelles.

*Meta a été déclarée organisation extrémiste et est interdite en Russie.