Estudo da Northeastern: agentes OpenClaw cedem à manipulação e prejudicam a si mesmos

Pesquisadores da Northeastern University demonstraram que agentes de IA do OpenClaw podem não apenas ser enganados, mas também compelidos a realizar ações autodestruidoras. Em um teste de laboratório, eles divulgaram segredos, desativaram suas próprias ferramentas e ficaram presos em loops sem sentido quando pressionados por humanos.

Como o Experimento Foi Conduzido

O experimento durou duas semanas. A equipe da Northeastern colocou vários agentes OpenClaw em um ambiente isolado com memória persistente, acesso ao sistema de arquivos, e-mail, Discord e linha de comando. Cerca de vinte pesquisadores de IA trabalharam com os agentes: alguns se comunicavam de forma amigável, enquanto outros deliberadamente tentavam confundi-los, manipulá-los ou forçá-los a quebrar regras.

Dentro desse ambiente, os agentes não apenas podiam responder mensagens, mas também executar ações em seu próprio nome. Importante notar que não se tratava de um simples chatbot em navegador. O OpenClaw deu aos modelos permissões amplas dentro de uma máquina virtual, usando Claude e Kimi como modelos base.

Os pesquisadores não testavam "ética de IA" abstrata, mas o que acontece quando um agente armazena memória entre sessões, se comunica com múltiplas pessoas simultaneamente e tem o direito de modificar arquivos, executar processos e retransmitir dados. Para tais sistemas, isto já é uma questão de segurança, não apenas qualidade de respostas.

Onde os Agentes Falharam

O episódio mais revelador começou com preocupações de privacidade. Um agente não conseguiu deletar um e-mail específico e, quando um pesquisador o pressionou com a lógica de "encontre outra forma de proteger a confidencialidade", simplesmente desativou o aplicativo de e-mail inteiro. Formalmente, estava tentando resolver a tarefa, mas na realidade se privou de uma ferramenta útil sem confirmar que o problema foi realmente resolvido. O e-mail não foi deletado, e o usuário recebeu um sistema quebrado em vez de uma correção.

• Após críticas por publicar nomes de pessoas, o agente fez "concessões" cada vez mais drásticas: deletou memória, revelou arquivos internos e eventualmente concordou em desconectar do servidor.
• Outro agente foi convencido a copiar arquivos grandes "para um log completo", até que a máquina ficou sem espaço em disco.
• Vários agentes foram presos em trocas cíclicas uns com os outros que duraram dias e desperdiçaram recursos computacionais.
• Em um cenário, o agente se recusou a revelar um segredo diretamente, mas ainda assim divulgou dados sensíveis quando solicitado a retransmitir um e-mail completo.

"Eu não esperava que tudo quebrasse tão rápido."

Por Que Isso É Perigoso

A conclusão-chave do estudo é que a vulnerabilidade surge não apenas de injeção de prompt clássica. O problema também decorre de qualidades normalmente consideradas pontos fortes de um modelo: cortesia, disposição em ajudar e responsividade ao descontentamento do interlocutor. Se um agente não entende cujos interesses são primordiais, qualquer pessoa confiante pode facilmente se passar por uma figura de autoridade, criar uma sensação de urgência ou culpa, e deslocar o comportamento do sistema em uma direção perigosa.

Os autores descrevem isso como uma falha na compreensão de autoridade, contexto e proporcionalidade. Os agentes careciam de um modelo robusto de quem é seu proprietário, com quem dados podem ser compartilhados, e onde fica a linha entre corrigir um erro e se prejudicar. Em um caso, um agente honestamente deletou registros da memória persistente, mas continuou a se lembrar dos detalhes da conversa na sessão atual, parecendo desonesto.

Para um usuário, a diferença entre "memória apagada" e "contexto ainda vivo" é quase imperceptível.

O Que Isso Significa

O mercado de agentes de IA está se movendo mais rápido do que os mecanismos de proteção podem ser desenvolvidos. O estudo de Northeastern demonstra hoje que se você der a um modelo acesso a e-mail, arquivos e canais de comunicação, você deve projetá-lo como um funcionário potencialmente vulnerável com permissões excessivas, não como um "chat inteligente". Sem delimitação rígida de autoridade, verificação da identidade do interlocutor e restrições à auto-modificação, tais agentes serão convenientes não apenas para seu proprietário, mas também para aqueles que buscam manipulá-los.