La IA de Meta inunda a los investigadores con denuncias «basura» sobre abuso infantil

Cuando una tecnológica afirma que usa inteligencia artificial para proteger a los niños, suena a bien incuestionable. Pero ¿qué ocurre cuando esa IA funciona tan mal que deja de ser una herramienta de protección y se convierte en un estorbo para quienes investigan de verdad los delitos contra menores? Esa es la pregunta que ha surgido en el juicio contra Meta en el estado de Nuevo México.

Benjamin Zwibel, agente especial del grupo interagencial contra los delitos a menores en internet (ICAC), prestó un testimonio difícil de calificar de otro modo que no sea acusatorio. «Recibimos de Meta una enorme cantidad de avisos que en esencia son basura», declaró ante el tribunal. ICAC es una red nacional de fuerzas del orden coordinada por el Departamento de Justicia de EE. UU., cuya misión es investigar y procesar los casos de explotación y abuso sexual de menores en internet. Cuando quienes realizan este trabajo tan duro llaman basura a tus informes, es una señal seria.

El problema es sistémico. Meta, propietaria de Facebook, Instagram y WhatsApp, emplea sistemas automatizados basados en IA para detectar material de abuso sexual infantil (CSAM). Cuando el sistema detecta material sospechoso, genera un informe que se envía al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) y, desde allí, a las fuerzas del orden, incluido ICAC. En teoría, es una cadena ideal. En la práctica, a juzgar por el testimonio de los investigadores, la moderación con IA de Meta produce tantos falsos positivos que los casos reales se ahogan en un torrente de avisos de baja calidad. Cada informe exige verificación, y ese es tiempo de investigadores que podrían dedicar a casos genuinos.

Conviene ampliar el contexto. El juicio de Nuevo México forma parte de una creciente oleada de demandas de estados estadounidenses contra Meta. El fiscal general de Nuevo México sostiene que las plataformas de la compañía anteponen sistemáticamente el beneficio a la seguridad infantil.

La acusación coincide con los testimonios de exempleados y con los documentos internos filtrados en 2021 por Frances Haugen. Meta, por su parte, rechaza las acusaciones y señala las medidas de protección introducidas, en particular las cuentas de adolescentes con configuración de privacidad por defecto. Pero el testimonio de Zwibel golpea uno de los argumentos clave de la defensa: la empresa no puede afirmar que combate activamente el CSAM y, al mismo tiempo, enterrar a los investigadores bajo informes inútiles.

La vertiente técnica del problema de los informes «basura» es bien conocida por los especialistas en aprendizaje automático. Los sistemas de clasificación de contenido operan en un equilibrio entre precisión y exhaustividad: se puede ajustar un modelo para que detecte casi todo lo sospechoso, pero entonces los falsos positivos se disparan. Si se sube el umbral, parte del CSAM real pasa inadvertido. Meta, a todas luces, ha elegido la estrategia de máxima cobertura, lo que le permite presentar cifras impresionantes de casos detectados. Pero esas cifras son en buena parte humo, y quienes pagan el precio son los investigadores y, en última instancia, los niños cuyos casos reales se retrasan por la sobrecarga del sistema.

La situación deja al descubierto un problema más profundo de la industria: la automatización de la moderación sirve a menudo menos para proteger a los usuarios que para crear apariencia de trabajo activo. Para Meta, millones de informes generados automáticamente son un argumento ante los tribunales y los reguladores. Para el investigador que debe revisar cada uno a mano, son una pesadilla burocrática que le roba tiempo de los casos reales. La escala de las plataformas de Meta, con miles de millones de usuarios, agrava el problema: incluso un pequeño porcentaje de falsos positivos se convierte en un alud en cifras absolutas.

El juicio de Nuevo México está lejos de terminar, pero el testimonio de Zwibel ya es uno de sus momentos más citados. Plantea a la industria una pregunta incómoda: ¿basta con implantar IA e informar del número de alertas enviadas, o las empresas están obligadas a responder por la calidad de esas alertas? Si la automatización de la moderación crea más problemas de los que resuelve, deja de ser una herramienta de seguridad y pasa a ser una herramienta de relaciones públicas corporativas. Y cuando se trata de la seguridad infantil, el precio de ese enfoque no se mide en pérdidas de reputación, sino en vidas reales.

*Meta ha sido declarada organización extremista y está prohibida en Rusia.