L’AI de Meta submerge les enquêteurs de signalements « poubelle » sur les abus sexuels sur mineurs

Quand une entreprise technologique affirme qu'elle utilise l'intelligence artificielle pour protéger les enfants, cela semble être un bien incontestable. Mais que se passe-t-il quand cet IA fonctionne si mal qu'il se transforme d'un outil de protection en un obstacle pour ceux qui enquêtent réellement sur les crimes contre mineurs ? C'est la question qui est devenue centrale dans un procès contre Meta au Nouveau-Mexique.

Benjamin Zweibel, agent spécial du groupe de travail interagences enquêtant sur les crimes contre les enfants en ligne (ICAC), a donné un témoignage qu'il est difficile de caractériser autrement que comme accablant. « Nous recevons un énorme nombre de signalements de la part de Meta qui sont essentiellement de la poubelle, » a-t-il déclaré au tribunal. L'ICAC est un réseau national d'agences d'application de la loi coordonné par le ministère américain de la Justice, chargé d'enquêter et de poursuivre les cas d'exploitation sexuelle et d'abus d'enfants en ligne. Quand des personnes qui font ce travail extraordinairement difficile qualifient vos signalements de poubelle, c'est un signal sérieux.

Le problème est systémique. Meta, propriétaire de Facebook, Instagram et WhatsApp, utilise des systèmes automatisés basés sur l'IA pour détecter le contenu lié aux matériaux d'abus sexuel d'enfants (CSAM). Quand le système détecte un matériel suspect, il génère un signalement qui est envoyé au Centre national pour les enfants disparus et exploités (NCMEC), et de là aux agences d'application de la loi, y compris l'ICAC.

En théorie, cela ressemble à un pipeline idéal. En pratique, selon le témoignage des enquêteurs, la modération par IA de Meta produit un tel volume de faux positifs que les cas réels sont noyés dans un flot de signalements de faible qualité. Chaque signalement nécessite une vérification — c'est du temps que les enquêteurs pourraient consacrer à des cas réels.

Il convient ici de comprendre le contexte plus large. Le procès au Nouveau-Mexique s'inscrit dans une vague croissante de poursuites contre Meta par les États américains. Le procureur général du Nouveau-Mexique soutient que les plates-formes de l'entreprise placent systématiquement le profit avant la sécurité des enfants.

Cette allégation fait écho aux témoignages d'anciens employés de l'entreprise et aux documents internes divulgués en 2021 par Frances Haugen. Meta, pour sa part, rejette les accusations et pointe du doigt les mesures de protection qu'elle a mises en œuvre — notamment les comptes d'adolescents avec les paramètres de confidentialité activés par défaut. Mais le témoignage de Zweibel frappe l'un des arguments clés de la défense : l'entreprise ne peut pas à la fois affirmer qu'elle combat activement le CSAM et écraser les enquêteurs sous des signalements inutiles.

Techniquement, le problème des signalements « poubelle » est bien connu des spécialistes de l'apprentissage automatique. Les systèmes de classification de contenu fonctionnent selon un équilibre entre précision et rappel : on peut ajuster un modèle pour capturer presque tout ce qui est suspect, mais alors les faux positifs explosent. On peut augmenter le seuil — alors une partie du véritable CSAM passe inaperçue.

Meta a apparemment choisi une stratégie de couverture maximale, lui permettant de signaler des chiffres impressionnants de cas détectés. Mais ces chiffres s'avèrent en grande partie creuses, et le coût est supporté par les enquêteurs et, en fin de compte, par les enfants dont les cas réels sont retardés en raison de la surcharge du système.

Cette situation met au jour un problème plus profond dans l'industrie : l'automatisation de la modération de contenu sert souvent non pas à protéger véritablement les utilisateurs, mais à créer l'apparence d'une action. Pour Meta, des millions de signalements générés automatiquement constituent un argument en tribunal et devant les régulateurs. Pour un enquêteur qui doit vérifier manuellement chacun d'entre eux, c'est un cauchemar bureaucratique qui vole du temps aux cas réels. L'échelle des plates-formes Meta — des milliards d'utilisateurs — rend le problème particulièrement aigu : même un petit pourcentage de faux positifs en chiffres absolus devient une avalanche.

Le procès au Nouveau-Mexique est loin d'être terminé, mais le témoignage de Zweibel est déjà devenu l'un des moments les plus cités. Il pose une question inconfortable à l'industrie : est-il suffisant de simplement mettre en œuvre l'IA et de rendre compte du nombre de signaux envoyés, ou les entreprises ont-elles l'obligation de rendre des comptes sur la qualité de ces signaux ? Si l'automatisation de la modération crée plus de problèmes qu'elle n'en résout, alors elle cesse d'être un outil de sécurité et devient un instrument de relations publiques d'entreprise. Et quand il s'agit de la sécurité des enfants, le coût d'une telle approche se mesure non en pertes de réputation, mais en vies réelles.