La AI de Meta inunda a los investigadores con reportes 'basura' sobre abuso sexual infantil

Cuando una empresa tecnológica afirma que utiliza inteligencia artificial para proteger a los niños, suena como un bien incuestionable. Pero ¿qué sucede cuando esa IA funciona tan mal que se transforma de una herramienta de protección en un obstáculo para quienes realmente investigan crímenes contra menores? Esta es la pregunta que se ha convertido en central en un litigio contra Meta en Nuevo México.

Benjamin Zweibel, agente especial de la fuerza de tareas multiagencial que investiga crímenes contra menores en internet (ICAC), dio un testimonio que es difícil caracterizar de otra forma que no sea condenatorio. "Recibimos una enorme cantidad de denuncias de Meta que son esencialmente basura," afirmó ante el tribunal. ICAC es una red nacional de agencias policiales coordinada por el Departamento de Justicia de Estados Unidos, encargada de investigar y enjuiciar casos de explotación sexual y abuso de menores en internet. Cuando personas que hacen este trabajo extraordinariamente difícil califican sus reportes de basura, esa es una señal seria.

El problema es sistémico. Meta, propietaria de Facebook, Instagram y WhatsApp, utiliza sistemas automatizados basados en IA para detectar contenido relacionado con material de abuso sexual infantil (CSAM). Cuando el sistema detecta material sospechoso, genera un reporte que se envía al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), y de ahí a agencias de aplicación de la ley, incluyendo ICAC. En teoría, esto parece una canalización ideal. En la práctica, según el testimonio de los investigadores, la moderación de IA de Meta produce tal volumen de falsos positivos que los casos reales se ahogan en un flujo de denuncias de mala calidad. Cada reporte requiere verificación — ese es tiempo que los investigadores podrían dedicar a casos reales.

Aquí conviene entender el contexto más amplio. El litigio en Nuevo México es parte de una creciente ola de demandas contra Meta por parte de estados estadounidenses. El fiscal general de Nuevo México sostiene que las plataformas de la empresa sistemáticamente priorizan la ganancia sobre la seguridad de los niños.

Esta acusación se hace eco de testimonios de exempleados de la empresa y documentos internos filtrados en 2021 por Frances Haugen. Meta, por su parte, rechaza las acusaciones y señala medidas de protección que ha implementado — incluyendo cuentas de adolescentes con configuraciones de privacidad activadas por defecto. Pero el testimonio de Zweibel golpea uno de los argumentos clave de la defensa: la empresa no puede simultáneamente afirmar que combate activamente el CSAM mientras abruma a los investigadores con reportes inútiles.

Técnicamente, el problema de reportes "basura" es bien conocido por especialistas en aprendizaje automático. Los sistemas de clasificación de contenido operan en un equilibrio entre precisión y exhaustividad: se puede ajustar un modelo para capturar casi todo lo sospechoso, pero entonces los falsos positivos se disparan. Se puede elevar el umbral — entonces una parte del CSAM real pasa desapercibido. Meta aparentemente eligió una estrategia de cobertura máxima, permitiéndole reportar cifras impresionantes de casos detectados. Pero estas cifras resultan ser en gran medida huecas, y el costo lo soportan los investigadores y, en última instancia, los niños cuyos casos reales se retrasan debido a la sobrecarga del sistema.

Esta situación expone un problema más profundo en la industria: la automatización de la moderación de contenido a menudo sirve no tanto para proteger genuinamente a los usuarios como para crear apariencia de trabajo activo. Para Meta, millones de reportes generados automáticamente son un argumento en tribunal y ante reguladores. Para un investigador que debe verificar manualmente cada uno, es una pesadilla burocrática que roba tiempo de casos reales. La escala de las plataformas Meta — miles de millones de usuarios — hace el problema particularmente agudo: incluso un pequeño porcentaje de falsos positivos en números absolutos se convierte en una avalancha.

El litigio en Nuevo México está lejos de concluirse, pero el testimonio de Zweibel ya se ha convertido en uno de los momentos más citados. Plantea una pregunta incómoda para la industria: ¿es suficiente simplemente implementar IA e informar sobre el número de señales enviadas, o las empresas tienen la obligación de ser responsables de la calidad de esas señales? Si la automatización de la moderación crea más problemas de los que resuelve, entonces deja de ser una herramienta de seguridad y se convierte en un instrumento de relaciones públicas corporativas. Y cuando se trata de la seguridad de los niños, el costo de tal enfoque se mide no en pérdidas reputacionales, sino en vidas reales.