IA da Meta inunda investigadores com denúncias "lixo" sobre abuso infantil

Quando uma empresa de tecnologia diz que usa inteligência artificial para proteger crianças, soa como um benefício incontestável. Mas o que acontece quando essa IA funciona tão mal que deixa de ser uma ferramenta de proteção e vira um obstáculo para quem de fato investiga crimes contra menores? Foi exatamente essa a pergunta levantada no julgamento contra a Meta no estado do Novo México.

Benjamin Zwibel, agente especial do grupo interagências de combate a crimes contra crianças na internet (ICAC), prestou um depoimento difícil de descrever senão como acusatório. "Recebemos da Meta uma quantidade enorme de denúncias que, na essência, são lixo", declarou ao tribunal. O ICAC é uma rede nacional de órgãos de segurança, coordenada pelo Departamento de Justiça dos EUA, cuja missão é investigar e processar casos de exploração e abuso sexual de crianças na internet. Quando quem faz esse trabalho tão pesado chama seus relatórios de lixo, é um sinal sério.

O problema é sistêmico. A Meta, dona do Facebook, Instagram e WhatsApp, usa sistemas automatizados baseados em IA para detectar material de abuso sexual infantil (CSAM). Quando o sistema encontra material suspeito, gera um relatório que vai para o Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC) e, de lá, para as forças de segurança, incluindo o ICAC. Na teoria, é um fluxo ideal. Na prática, a julgar pelo depoimento dos investigadores, a moderação por IA da Meta produz tantos falsos positivos que os casos reais se afogam num fluxo de denúncias de baixa qualidade. Cada relatório exige verificação, e isso é tempo de investigadores que poderia ser usado em casos genuínos.

Vale entender o contexto mais amplo. O julgamento no Novo México faz parte de uma onda crescente de processos de estados americanos contra a Meta. O procurador-geral do Novo México afirma que as plataformas da empresa colocam sistematicamente o lucro acima da segurança infantil. A acusação dialoga com depoimentos de ex-funcionários e com documentos internos vazados em 2021 por Frances Haugen. A Meta, por sua vez, rejeita as acusações e aponta as medidas de proteção implantadas, em especial as contas de adolescentes com configurações de privacidade padrão. Mas o depoimento de Zwibel atinge um dos principais argumentos da defesa: a empresa não pode afirmar que combate ativamente o CSAM e, ao mesmo tempo, soterrar os investigadores em relatórios inúteis.

O lado técnico do problema dos relatórios "lixo" é bem conhecido de especialistas em aprendizado de máquina. Sistemas de classificação de conteúdo operam num equilíbrio entre precisão e cobertura (recall): é possível ajustar um modelo para pegar quase tudo que é suspeito, mas aí os falsos positivos disparam. Se o limiar sobe, parte do CSAM real passa despercebida. A Meta, ao que tudo indica, escolheu a estratégia de cobertura máxima, o que lhe permite divulgar números impressionantes de casos detectados. Mas esses números são em grande parte vazios, e quem paga o preço são os investigadores e, em última instância, as crianças cujos casos reais ficam atrasados pela sobrecarga do sistema.

A situação expõe um problema mais profundo do setor: a automação da moderação de conteúdo muitas vezes serve menos para proteger usuários do que para criar a aparência de trabalho ativo. Para a Meta, milhões de relatórios gerados automaticamente são um argumento no tribunal e perante os reguladores. Para o investigador que precisa revisar cada um manualmente, são um pesadelo burocrático que tira tempo de casos reais. A escala das plataformas da Meta, com bilhões de usuários, torna o problema especialmente agudo: mesmo uma pequena porcentagem de falsos positivos vira uma avalanche em números absolutos.

O julgamento no Novo México está longe do fim, mas o depoimento de Zwibel já se tornou um dos momentos mais citados. Ele coloca para o setor uma pergunta incômoda: basta implantar IA e relatar a quantidade de alertas enviados, ou as empresas têm o dever de responder pela qualidade desses alertas? Se a automação da moderação cria mais problemas do que resolve, ela deixa de ser uma ferramenta de segurança e vira uma ferramenta de relações públicas corporativas. E quando o assunto é a segurança de crianças, o preço dessa abordagem não se mede em perdas de reputação, mas em vidas reais.

*A Meta foi declarada organização extremista e está proibida na Rússia.