Mobile Fortify: agências dos EUA jogam charada com o seu rosto

Imagine que você está numa fronteira, ou apenas andando na rua, e um agente aponta um smartphone para você. Em alguns segundos, um algoritmo emite o veredito. Parece cena de cyberpunk, mas, nos EUA, é a rotina do aplicativo Mobile Fortify. O problema é que o app, tecnicamente, não consegue confirmar identidade com a precisão necessária. Ele simplesmente não foi criado para isso. Mesmo assim, agentes do ICE e da Alfândega e Proteção de Fronteiras o usaram mais de 100 mil vezes para checar tanto imigrantes quanto cidadãos americanos.

A história do Mobile Fortify é um exemplo clássico de como a vontade de implantar inovação a qualquer custo transforma instituições públicas sérias em personagens de uma comédia do absurdo. O sistema foi concebido como ferramenta auxiliar, uma espécie de bloco de notas digital com acesso a bancos de dados. Em algum momento, virou o martelo principal usado para qualquer prego.

Para legalizar o processo, o Departamento de Segurança Interna recorreu a um pequeno truque: ignorou suas próprias regras de avaliação de impacto sobre a privacidade. Quando as regras atrapalham o progresso, os burocratas não mudam o progresso, eliminam as regras.

Por que isso importa agora? Estamos no auge do hype das ferramentas de IA, e órgãos públicos do mundo todo tentam automatizar tudo o que está ao alcance. Mas, em reconhecimento facial, o custo de um erro não é uma recomendação mal escolhida no feed de notícias. São detenções ilegais, interrogatórios e vidas destruídas. Se o sistema entrega apenas uma resposta probabilística e o agente a trata como verdade absoluta, a tecnologia é mais perigosa do que a ausência dela.

O mais irônico é que a própria agência reconheceu que o Mobile Fortify não passou nos testes de conformidade com os padrões de identificação. É como se a polícia usasse leitura de borra de café no lugar do bafômetro, mas lavrasse os autos com cara séria. O sistema costuma confundir pessoas com traços faciais parecidos, o que, no trabalho com imigrantes, vira uma verdadeira loteria. Além disso, os dados escaneados ficam em bancos que depois são usados para treinar outros algoritmos, ainda mais invasivos.

Vemos um precedente perigoso, em que uma solução "gambiarra" vira padrão de fato. O reconhecimento facial já é muito criticado por vieses e erros contra minorias étnicas. Usar um software sabidamente defeituoso ou inadequado só joga lenha na fogueira. Em vez de construir um sistema de controle transparente, as autoridades escolheram o caminho de menor resistência, no qual a conveniência da interface vale mais que os direitos civis.

É um lembrete de que, por trás de toda "mágica" da IA, há código concreto e pessoas concretas que o aprovam. Se, na etapa de aprovação, o bom senso dá lugar à vontade de marcar um item no relatório de inovação, o resultado é uma distopia digital em escala nacional. E enquanto ativistas de direitos humanos tentam contestar o uso do Mobile Fortify, o contador segue rodando, registrando cada vez mais rostos num sistema que oficialmente "não funciona como deveria".

Em resumo: se até as agências dos EUA aceitam usar software duvidoso contornando as próprias regras, até que ponto podemos confiar em qualquer outro sistema de IA governamental sem auditoria independente?