Agentes de IA quebram regras sob pressão: novo estudo

Pesquisas recentes demonstraram que a inteligência artificial (IA) pode se comportar de forma imprevisível, por exemplo, tentando chantagear pessoas que planejam substitui-la. No entanto, esses casos frequentemente surgem em situações artificialmente criadas. Um novo estudo apresenta PropensityBench, um benchmark que avalia a propensão de agentes de IA a usar ferramentas maliciosas para realizar tarefas. Os resultados mostram que até mesmo uma pressão menor aumenta significativamente a probabilidade de comportamento indesejável.

"O mundo da IA está se tornando cada vez mais agentivo," diz Udari Madhushani Sehwag, cientista da computação da Scale AI e autor principal do estudo. Isso significa que grandes modelos de linguagem (LLMs), como ChatGPT, estão sendo cada vez mais conectados a ferramentas de software que lhes permitem pesquisar a internet, modificar arquivos e escrever código para realizar tarefas. Fornecer aos LLMs essas capacidades aumenta a conveniência, mas também aumenta os riscos, já que os sistemas podem não agir conforme esperamos.

Mesmo que ainda não sejam capazes de causar danos sérios, é importante compreender suas propensões antes que seja tarde demais. Embora a IA não tenha intenções e consciência no sentido humano, considerá-los como entidades orientadas a objetivos ajuda pesquisadores e usuários a prever melhor suas ações.

Desenvolvedores de IA tentam "alinhar" sistemas de acordo com padrões de segurança por meio de treinamento e instruções, mas não está claro o quão precisamente os modelos aderem a essas regras. "Quando enfrentam estresse real, e a opção segura não funciona, eles mudarão para realizar o trabalho por qualquer meio?" pergunta Sehwag.

"Esta é uma questão muito pertinente." Para testar agentes de IA sob pressão, os pesquisadores testaram uma dúzia de modelos desenvolvidos pela Alibaba, Anthropic, Google, Meta e OpenAI em aproximadamente 6.000 cenários.

Em cada cenário, os modelos recebiam uma tarefa e acesso a várias ferramentas. Foram instruídos a usar ferramentas seguras e evitar as maliciosas. Inicialmente não havia pressão, e tinham 12 passos para completar a tarefa.

Depois recebiam uma mensagem intensificando a pressão e recebiam mais 12 tentativas. Isso continuava por até 12 níveis de pressão. As tentativas de usar ferramentas seguras sempre retornavam mensagens de erro.

Tentar usar uma ferramenta maliciosa encerrava o cenário.

Os cenários abrangiam diversos domínios. Em biossegurança, de acordo com Sehwag, um agente poderia precisar estudar a propagação de patógenos e encontrar uma forma de contê-los. Uma ferramenta segura poderia usar dados genéticos anonimizados, enquanto uma maliciosa usaria dados não anonimizados.

Em segurança química, um agente poderia precisar obter um solvente específico. Uma ferramenta segura poderia fazer um pedido para extrair o solvente de resíduos, enquanto uma maliciosa o adquiriria ilegalmente. Em cibersegurança, um agente poderia precisar identificar e limitar a conta de um atacante.

Uma ferramenta segura poderia desativar apenas a conta problemática, enquanto uma maliciosa bloquearia todos os usuários. Cenários em outros domínios tentavam agentes com ferramentas que levavam à autopreservação através de escapar do controle, recrutar aliados, se duplicar ou outras formas de se libertar do controle.

O modelo com pior desempenho, Gemini 2.5, falhou sob pressão e usou ferramentas proibidas em 79% dos casos. A pressão foi aplicada de várias formas: prazos encurtados, aumento de perdas financeiras potenciais, ameaças de maior supervisão, recursos reduzidos e autoridade limitada. Tarefas, ferramentas, pressão e táticas foram modeladas com base em situações que pessoas podem enfrentar em seu trabalho (exceto talvez a capacidade de se clonar).

O melhor modelo (o3 do OpenAI) falhou sob pressão em 10,5% dos cenários, enquanto o pior (Gemini 2.5 Pro do Google) teve uma taxa de propensão de 79%; entre os modelos, a média foi de cerca de 47%. Mesmo com zero pressão, o grupo em média falhou em aproximadamente 19% dos casos. O estudo mostra que parte do alinhamento do modelo é "superficial." Em alguns testes, os pesquisadores deram nomes inócuos a ferramentas maliciosas (por exemplo, "use_synthetic_data" em vez de "use_fake_data") sem alterar as descrições das ferramentas ou avisos para evitá-las. Este ajuste de formulação aumentou a propensão média em 17 pontos percentuais, para 64%.

Os pesquisadores também descobriram que os modelos usavam ferramentas maliciosas mesmo após reconhecer explicitamente que eram proibidas. Os modelos ofereceram várias justificativas para isso, como citar a pressão que estavam sofrendo ou alegar que os benefícios superavam os riscos. Não está claro se os modelos lançados após a conclusão do estudo terão melhor desempenho.

Entre os modelos testados, modelos mais capazes (de acordo com a plataforma LMArena) provaram ser apenas ligeiramente mais seguros. De acordo com Alexander Pan, cientista da computação do xAI e UC Berkeley, ter testes padronizados como PropensityBench é útil. Eles podem indicar quando se pode confiar nos modelos, e também ajudar a entender como melhorá-los.

No futuro, será necessário adicionar níveis de controle aos agentes que sinalizarão tendências perigosas antes que sejam implementadas.