Agentes de IA: assistente útil ou porta aberta para hackers?

Sejamos honestos: todos esperávamos o momento em que a IA deixaria de ser apenas um chatbot tagarela e passaria a fazer coisas. Comprar passagens, depurar código, gerenciar servidores. A era dos agentes de IA chegou, mas trouxe junto uma dor de cabeça que muitos desenvolvedores ignoraram de propósito. A Trail of Bits publicou uma análise que funciona como um banho de água fria: seus agentes "seguros" são um possível buraco de segurança do tamanho do Grand Canyon.

O cerne do problema está na superfície, mas insistimos em não enxergá-lo. Damos aos modelos de linguagem acesso a ferramentas: sistema de arquivos, terminal, APIs. Para dormir tranquilos, os engenheiros costumam montar a defesa com listas de permissão (allowlists) de comandos autorizados e colocam uma pessoa na cadeia de decisão. A ideia é que, se a IA tentar algo estranho, o humano perceberá e vai proibir. Parece lógico? Na prática, desmorona.

A Trail of Bits mostrou como isso quebra por meio da injeção de argumentos. Não é a injeção de shell clássica, em que basta acrescentar código malicioso. Aqui tudo é mais sutil. O atacante manipula o prompt para que o modelo use um utilitário permitido, mas com argumentos que o transformam em arma. Imagine que você liberou o comando `curl` para o agente testar a conectividade e, sob influência de um prompt oculto, ele baixa um script malicioso e o executa. Formalmente, o comando estava na lista de permissão. Na prática, você acabou de entregar um RCE (Remote Code Execution) ao invasor.

A esperança depositada em filtros regex é especialmente irônica. Tentar filtrar a saída de um LLM com expressões regulares é como tentar segurar água numa peneira. Os modelos são variáveis demais e o contexto é complexo demais para a lógica rígida de um regex capturar todas as variantes de comportamento malicioso. É um antipadrão de arquitetura que, por algum motivo, continua vivo em produção em muitas startups.

E o humano no circuito? Isso só funciona em um mundo ideal. Na realidade, os usuários sofrem de fadiga de decisão. Quando o agente pede confirmação pela décima vez para uma ação inofensiva, a atenção diminui. E se o ataque estiver bem disfarçado, até um engenheiro experiente pode não notar a armadilha num conjunto de flags de linha de comando. Jogamos a responsabilidade no usuário, que muitas vezes é o elo mais fraco.

O que isso significa para a indústria? Estamos chegando a um ponto em que o design ingênuo de agentes de IA se torna perigoso. Plugar o LangChain num terminal e torcer pelo melhor deixou de ser opção. É preciso isolamento total do ambiente de execução (sandboxes), limites rígidos de permissão no nível do sistema operacional, e não do aplicativo, e abandonar a ilusão de que um LLM consegue se moderar sozinho.

O principal: a segurança de agentes de IA não pode se basear na confiança no modelo nem no usuário. Se o seu agente tem acesso ao mundo real, considere que ele já foi comprometido. Você está preparado para que seu "assistente inteligente" apague o banco de dados de produção?