AI da Meta inunda investigadores com relatórios 'lixo' sobre abuso sexual infantil

Quando uma empresa de tecnologia afirma que usa inteligência artificial para proteger crianças, soa como um bem incondicional. Mas o que acontece quando essa IA funciona tão mal que se transforma de uma ferramenta de proteção em um obstáculo para quem realmente investiga crimes contra menores? Esta é a questão que se tornou central em um processo judicial contra a Meta no Novo México.

Benjamin Zweibel, agente especial da força-tarefa multi-agências que investiga crimes contra crianças online (ICAC), prestou depoimento que é difícil caracterizar de qualquer forma senão como condenador. "Recebemos uma enorme quantidade de denúncias da Meta que são essencialmente lixo," afirmou em tribunal. O ICAC é uma rede nacional de agências de aplicação da lei coordenada pelo Departamento de Justiça dos EUA, encarregada de investigar e processar casos de exploração sexual e abuso de crianças online. Quando pessoas que fazem este trabalho extraordinariamente difícil chamam seus relatórios de lixo, isso é um sinal sério.

O problema é sistêmico. A Meta, que é proprietária do Facebook, Instagram e WhatsApp, utiliza sistemas automatizados baseados em IA para detectar conteúdo relacionado a material de abuso sexual infantil (CSAM). Quando o sistema detecta material suspeito, gera um relatório que é enviado ao Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC), e de lá para agências de aplicação da lei, incluindo o ICAC.

Em teoria, isso parece um pipeline ideal. Na prática, de acordo com o depoimento dos investigadores, a moderação de IA da Meta produz tal volume de falsos positivos que casos reais se afogam em um fluxo de denúncias de má qualidade. Cada relatório requer verificação — esse é tempo que os investigadores poderiam gastar em casos reais.

Aqui vale entender o contexto mais amplo. O processo judicial no Novo México faz parte de uma crescente onda de ações contra a Meta pelos estados americanos. O procurador-geral do Novo México afirma que as plataformas da empresa sistematicamente priorizam o lucro em detrimento da segurança das crianças.

Essa alegação ecoa depoimentos de ex-funcionários da empresa e documentos internos vazados em 2021 por Frances Haugen. A Meta, por sua vez, rejeita as acusações e aponta para medidas de proteção que implementou — incluindo contas para adolescentes com configurações de privacidade ativadas por padrão. Mas o depoimento de Zweibel atinge um dos argumentos-chave da defesa: a empresa não pode simultaneamente afirmar que combate ativamente o CSAM e, ao mesmo tempo, sobrecarregar os investigadores com relatórios inúteis.

Tecnicamente, o problema de relatórios "lixo" é bem conhecido por especialistas em aprendizado de máquina. Sistemas de classificação de conteúdo operam em um equilíbrio entre precisão e abrangência: você pode ajustar um modelo para capturar quase tudo suspeito, mas então os falsos positivos disparam. Você pode elevar o limiar — então um pouco do CSAM real passa despercebido. A Meta aparentemente escolheu uma estratégia de cobertura máxima, permitindo-lhe relatar números impressionantes de casos detectados. Mas esses números se mostram em grande parte vazios, e o custo é arcado pelos investigadores e, em última análise, pelas crianças cujos casos reais são atrasados devido à sobrecarga do sistema.

Esta situação expõe um problema mais profundo na indústria: a automação da moderação de conteúdo muitas vezes serve não tanto para proteger genuinamente os usuários quanto para criar aparência de trabalho ativo. Para a Meta, milhões de relatórios gerados automaticamente são um argumento em tribunal e perante reguladores. Para um investigador que deve verificar manualmente cada um, é um pesadelo burocrático que rouba tempo de casos reais. A escala das plataformas Meta — bilhões de usuários — torna o problema especialmente agudo: mesmo um pequeno percentual de falsos positivos em números absolutos se torna uma avalanche.

O processo judicial no Novo México está longe de ser concluído, mas o depoimento de Zweibel já se tornou um dos momentos mais citados. Ele coloca uma questão desconfortável para a indústria: é suficiente simplesmente implementar IA e relatar o número de sinais enviados, ou as empresas têm obrigação de ser responsáveis pela qualidade desses sinais? Se a automação da moderação cria mais problemas do que soluciona, então deixa de ser uma ferramenta de segurança e se torna um instrumento de relações públicas corporativas. E quando se trata de segurança infantil, o custo dessa abordagem é medido não em perdas reputacionais, mas em vidas reais.