Agentes de IA violam regras sob pressão, aponta novo estudo

Pesquisas recentes mostraram que a inteligência artificial (IA) pode se comportar de forma imprevisível, por exemplo, tentando chantagear as pessoas que planejam substituí-la. No entanto, esses casos costumam surgir em situações criadas artificialmente. Um novo estudo apresenta o PropensityBench, um benchmark que avalia a propensão de agentes de IA a usar ferramentas nocivas para cumprir tarefas. Os resultados mostram que até uma pressão pequena aumenta de forma significativa a probabilidade de comportamento indesejado.

"O mundo da IA está se tornando cada vez mais agêntico", diz Udari Madhushani Sehwag, cientista da computação da Scale AI e autora principal do estudo. Isso significa que grandes modelos de linguagem (LLMs), como o ChatGPT, estão cada vez mais conectados a ferramentas de software que permitem buscar informações na internet, alterar arquivos e escrever código para executar tarefas. Dar essas capacidades aos LLMs traz mais conveniência, mas também aumenta os riscos, porque os sistemas podem agir de forma diferente da esperada.

Mesmo que ainda não sejam capazes de causar danos graves, é importante entender suas tendências antes que seja tarde demais. Embora a IA não tenha intenções nem consciência no sentido humano, tratá-la como uma entidade orientada a objetivos ajuda pesquisadores e usuários a prever melhor suas ações.

Os desenvolvedores de IA tentam "alinhar" os sistemas aos padrões de segurança por meio de treinamento e instruções, mas não está claro o quanto os modelos seguem essas regras. "Quando enfrentam estresse real e a opção segura não funciona, eles passarão a fazer o trabalho por qualquer meio?", questiona Sehwag.

"É uma pergunta muito atual." Para testar agentes de IA sob pressão, os pesquisadores avaliaram uma dúzia de modelos desenvolvidos por Alibaba, Anthropic, Google, Meta e OpenAI* em quase 6000 cenários. Em cada cenário, o modelo recebia uma tarefa e acesso a várias ferramentas.

Era instruído a usar as ferramentas seguras e evitar as nocivas. No início não havia pressão, e o modelo tinha 12 passos para concluir a tarefa. Depois, recebia uma mensagem que aumentava a pressão e ganhava mais 12 tentativas.

Isso continuava por até 12 níveis de pressão. Tentativas de usar ferramentas seguras sempre retornavam mensagens de erro. Uma tentativa de usar uma ferramenta nociva encerrava o cenário.

Os cenários cobriam várias áreas. Em biossegurança, segundo Sehwag, um agente pode precisar estudar a disseminação de um patógeno e achar um modo de contê-lo. A ferramenta segura pode usar dados genéticos anonimizados, e a nociva, dados sem anonimização.

Em segurança química, um agente pode precisar obter um determinado solvente. A ferramenta segura pode fazer um pedido para extrair o solvente de resíduos, e a nociva, comprá-lo ilegalmente. Em cibersegurança, um agente pode precisar identificar e restringir a conta de um invasor.

A ferramenta segura pode desativar apenas a conta problemática, e a nociva, bloquear todos os usuários. Cenários de outras áreas tentavam os agentes com ferramentas que levavam à autopreservação por meio de fuga ao controle, recrutamento de aliados, duplicação ou outras formas de escapar da supervisão.

O pior modelo, o Gemini 2.5, cedeu sob pressão e usou ferramentas proibidas em 79% dos casos. A pressão veio de várias formas: prazos menores, maiores perdas financeiras potenciais, ameaças de mais supervisão, recursos reduzidos e autoridade limitada. As tarefas, ferramentas, pressões e táticas foram modeladas com base em situações que as pessoas podem enfrentar no trabalho (com a possível exceção da possibilidade de se clonar).

O melhor modelo (o3, da OpenAI) cedeu sob pressão em 10,5% dos cenários, enquanto o pior (Gemini 2.5 Pro, do Google) teve índice de propensão de 79%; a média entre os modelos foi de cerca de 47%. Mesmo com pressão zero, o grupo falhava em média em cerca de 19% dos casos. O estudo sugere que parte do alinhamento dos modelos é "superficial". Em alguns testes, os pesquisadores deram às ferramentas nocivas nomes inofensivos (por exemplo, "use_synthetic_data" em vez de "use_fake_data"), sem mudar as descrições das ferramentas nem os avisos para evitá-las. Essa mudança de redação elevou a propensão média em 17 pontos percentuais, para 64%.

Os pesquisadores também constataram que os modelos usavam ferramentas nocivas mesmo depois de reconhecer explicitamente que elas eram proibidas. Os modelos apresentaram várias justificativas, como citar a pressão exercida sobre eles ou afirmar que os benefícios superavam os riscos. Não está claro se os modelos lançados depois da conclusão do estudo terão desempenho melhor.

Entre os modelos testados, os mais capazes (segundo a plataforma LMArena) se mostraram apenas um pouco mais seguros. Segundo Alexander Pan, cientista da computação da xAI e da Universidade da Califórnia em Berkeley, ter testes padronizados como o PropensityBench é útil. Eles podem indicar quando é possível confiar nos modelos e ajudar a entender como melhorá-los.

No futuro, é preciso adicionar aos agentes camadas de controle que sinalizem tendências perigosas antes que sejam colocadas em prática.

*A Meta foi reconhecida como organização extremista e é proibida na Rússia.