Segurança de agentes de IA em produção: guia prático de Red Teaming

Um agente não é um chatbot. É um sistema com acesso a ferramentas, serviços e dados corporativos. Um erro do modelo em um chat isolado é um constrangimento. Um erro de um agente com acesso a e-mail e documentos é um possível vazamento de dados ou um incidente reputacional ou financeiro.

Como o Red Teaming de agentes se diferencia

O Red Teaming de LLMs foca no próprio modelo de linguagem: testa-se prompt injection, jailbreak e alucinações. Se o modelo responde errado, o problema é local.

O Red Teaming de um agente é bem diferente. Aqui verificamos toda a pilha: o modelo, as ferramentas (tools), as APIs externas, as integrações com sistemas corporativos e a lógica de roteamento de requisições. Um agente pode responder corretamente às perguntas, mas errar na escolha da tool, passar parâmetros incorretos ou esquecer de checar as permissões de acesso. E de repente o agente executa uma ação que nunca deveria ter executado. Um único erro nessa cadeia é um incidente.

A Doubletapp desenvolveu uma metodologia de Red Teaming que cobre os dois níveis: as vulnerabilidades do próprio modelo e as da sua integração com o mundo externo.

Promptfoo: da teoria à prática

O Promptfoo é um framework para automatizar o Red Teaming. Você define cenários de teste (attack scenarios), um conjunto de prompts perigosos e regras para avaliar os resultados. A ferramenta roda esses testes contra o seu agente e gera um relatório mostrando quais ataques passaram.

O fluxo básico é simples:

• descreva o comportamento que você quer proteger;
• escreva cenários de teste, ou seja, tentativas de fazer o agente violar esse comportamento;
• execute o Promptfoo, que roda todos os testes automaticamente;
• analise o relatório e entenda onde estão as brechas;
• corrija a vulnerabilidade e repita.

A ferramenta se integra com OpenAI, Anthropic, Claude e outros modelos. Todos os logs são transparentes, detalhados e fáceis de analisar.

Quais vulnerabilidades procurar

Na prática, a Doubletapp se deparou com classes de problemas recorrentes:

• Autorização incorreta de tools: o agente escolhe a ferramenta certa, mas não verifica se o usuário tem permissão para aquela operação
• Confusão de parâmetros: o agente passa user_id no lugar de admin_id por causa de nomenclatura pouco clara na especificação da API
• Ataques encadeados: um pequeno erro somado a outro pequeno erro resulta em um bypass completo do sistema
• Engenharia social via modelo: um invasor convence o agente de que ele está autorizado, quando na verdade não está
• Vazamento de contexto pelos logs: o agente registra dados sensíveis que depois outro usuário consegue ver

"É o primeiro passo de um processo, não o produto final", costuma-se dizer, mais ou menos, de qualquer Red Teaming.

A primeira rodada de testes vai expor brechas que depois precisam ser fechadas onda após onda.

O que isso significa

O Red Teaming está saindo dos laboratórios e entrando na realidade operacional. Se você já colocou um agente em produção, precisa de um sistema que busque vulnerabilidades continuamente. O Promptfoo é uma das ferramentas que dá para subir agora mesmo e usar na sua própria stack.

As empresas começam a exigir não só funcionalidade, mas prova de segurança. E é uma exigência correta, porque as apostas são altas.