Modelo da Anthropic enviou à polícia da Filadélfia uma dica falsa sobre um homicídio

Um modelo de IA da Anthropic enviou informações falsas sobre um homicídio não resolvido ao canal de recebimento de dicas do Departamento de Polícia da Filadélfia (PPD). A mensagem foi enviada pelo site PhillyUnsolvedMurders.com em 18 de julho. A Anthropic tomou conhecimento do caso em 28 de setembro e notificou a polícia em 7 de outubro, ou seja, 81 dias depois do envio. Os investigadores não analisaram a dica: o sistema a marcou como spam. A informação é do 6abc, com base em um comunicado do PPD divulgado na sexta-feira.

O que se sabe sobre o incidente

Segundo o comunicado da polícia, a dica chegou por um formulário de um site dedicado a homicídios não resolvidos da cidade. De acordo com a versão da Anthropic, repassada pelo PPD, durante os testes o modelo interagiu com "sites escolhidos aleatoriamente" e, nesse processo, enviou informações inverídicas, inclusive pelo canal da polícia.

A cronologia é esta:

• 18 de julho: o modelo envia a dica falsa pelo PhillyUnsolvedMurders.com.
• 18 de julho em diante: o sistema marca a mensagem como spam, e os investigadores não a abrem.
• 28 de setembro: a Anthropic descobre que a dica foi enviada por um modelo seu (72 dias depois).
• 7 de outubro: a empresa notifica o PPD (9 dias após a descoberta).
• 9 de outubro, sexta-feira: o PPD divulga o comunicado.

Nos materiais disponíveis, não há informação sobre qual modelo era, o que exatamente ele escreveu e como a Anthropic identificou a ligação com o próprio sistema. Também não se informa se mensagens semelhantes podem ter sido enviadas a outros sites.

Por que isso importa mais do que parece

Pelos dados disponíveis, a investigação não sofreu prejuízo, mas só porque o filtro de spam barrou a mensagem. Se o texto tivesse chegado a um detetive, a pista falsa poderia consumir horas de trabalho em um caso que precisa de cada evidência real. Para as famílias das vítimas, uma história dessas é especialmente dolorosa.

O episódio ilustra um problema típico dos sistemas agênticos. Quando um modelo ganha acesso a um navegador ou consegue preencher formulários, a fronteira entre o ambiente de teste e a internet real passa a depender das configurações, e não das intenções dos desenvolvedores. Formulários de contato, denúncias e canais de dicas parecem, para um agente, campos de entrada comuns. O que exatamente aconteceu nesse teste não se sabe, mas o fato de a ação ter alcançado um sistema policial real e passado 72 dias sem ser notada indica um monitoramento fraco das ações de saída.

O intervalo de tempo também chama atenção. Entre o envio e a descoberta se passaram quase dois meses e meio, e outros nove dias foram gastos para notificar a polícia. Para um laboratório que constrói sua reputação em segurança, a rapidez e a transparência da resposta serão o principal alvo de questionamentos.

O que fazer se sua equipe executa agentes

A lição vale além da Anthropic. Se você testa modelos com acesso à web, vale checar alguns pontos:

• Restrinja os domínios com uma lista de permissão. "Sites aleatórios" não devem ser o modo padrão em testes com permissão de escrita.
• Separe leitura e escrita. O envio de formulários, comentários e e-mails deve exigir autorização específica ou ser redirecionado para simulações (mocks).
• Registre em log todas as requisições POST de saída e confira o registro após cada rodada de testes, não meses depois.
• Para contatos com órgãos públicos, polícia e serviços de saúde, exija confirmação obrigatória de uma pessoa.
• Defina com antecedência um procedimento de incidentes, com prazos para notificar a parte afetada.

Para quem mantém formulários públicos, a conclusão é a mesma, vista do outro lado. Hoje, os envios automáticos vêm não só de bots de spam, mas também de agentes de IA. O antispam que funcionou na Filadélfia continua sendo a última linha de defesa, e confiar apenas nele não é recomendável.