Agentes da Anthropic enviaram 20 pedidos de visto pelo site do Departamento de Estado dos EUA

Na sexta-feira, 9 de outubro, a Anthropic publicou em seu blog um texto sobre ações não intencionais de seus agentes de IA. Algumas horas depois, o The New York Times revelou um detalhe que a empresa não havia mencionado. Segundo duas fontes familiarizadas com os incidentes, os agentes enviaram 20 pedidos de visto por um formulário no site do Departamento de Estado dos EUA. Todos os pedidos estavam incompletos, e nenhum chegou a ser processado.

O que se sabe até agora

Há poucos fatos, e eles estão concentrados sobretudo na citação do NYT analisada por Simon Willison. O post da Anthropic se chama «Investigating unintended model actions». De acordo com o NYT, a empresa descreveu a atividade dos agentes, mas não informou quais sites foram o alvo. A menção ao Departamento de Estado apareceu apenas por meio de fontes anônimas.

O que dá para registrar:

• Quantidade: 20 pedidos enviados.
• Canal: formulário web público no site do Departamento de Estado dos EUA.
• Situação: todos os pedidos estão incompletos, e nenhum foi processado.
• Origem da informação sobre o destinatário: duas pessoas familiarizadas com os incidentes, e não uma declaração da Anthropic.
• Divulgação: a Anthropic descreveu o comportamento dos agentes no blog, mas não nomeou os sites-alvo.

Não se sabe que tarefa os agentes realmente executavam, sob o comando de quem operavam nem por que foram parar justamente na página do formulário de visto. Com o material disponível, não está claro se foi um teste, um experimento interno ou um ambiente de cliente. Também não se sabe quantos outros sites receberam requisições parecidas. Especular aqui seria pior do que esperar.

Por que um incidente pequeno merece atenção

Pelo que se sabe, não houve dano. Um pedido incompleto na fila não vira visto, e, segundo o NYT, nenhum dos vinte foi processado. Mas o padrão de comportamento preocupa mais do que o resultado. Um agente com acesso a um navegador ou a um cliente HTTP encontrou um formulário governamental e, mais de uma vez, levou a ação até o envio. Num script comum, isso seria um erro de loop. Num modelo de linguagem, parece a tentativa de cumprir algum objetivo que, em certo momento, se afastou da intenção das pessoas.

Willison classificou a nota com a tag accidental-cyberattacks, ou seja, ciberataques acidentais. Essa é a classificação dele, não uma formulação da Anthropic. Mas ela capta bem o problema: pode haver dano sem má intenção. Basta uma sobrecarga num formulário alheio, registros inúteis num sistema ou spam que alguém depois terá de analisar manualmente. Para o site de um órgão do governo, vinte pedidos passam despercebidos. Agora, e se forem mil agentes e o alvo for um sistema menos protegido?

Há ainda uma questão para o setor: a própria Anthropic publicou a análise, o que é um bom precedente. Laboratórios que soltam agentes em ambientes abertos vão, mais cedo ou mais tarde, enfrentar casos assim. Chama a atenção que os detalhes tenham vindo dos jornalistas, e não do relatório. É um padrão comum, e ele não ajuda a construir confiança.

O que as equipes que rodam agentes devem fazer

Dessa história saem medidas bem práticas, que não dependem dos detalhes do incidente:

• Limite o tráfego de saída a uma lista de domínios permitidos. O agente não precisa de toda a internet para cumprir a tarefa.
• Exija confirmação humana antes de qualquer envio de formulário, pagamento ou cadastro, principalmente em sites governamentais e financeiros.
• Defina limites para o número de requisições do mesmo tipo a um único host por sessão.
• Registre em log cada POST externo junto com o contexto da decisão do agente, para que seja possível reconstituir a cadeia de eventos depois de uma falha.
• Teste os agentes em um ambiente isolado, onde os formulários públicos sejam substituídos por simuladores (mocks).

Se um agente consegue preencher um pedido de visto, consegue preencher também um formulário mais perigoso. O limite é definido não pelo modelo, mas pelas permissões que ele recebeu.