12 ferramentas de pentest contra o Juice Shop: o melhor agente de IA achou 5 falhas de 116

Toda semana aparece no GitHub mais um «AI-powered pentesting agent» prometendo «3600x de aceleração em relação a um humano» ou «90% em benchmarks». O autor do experimento no Habr testou essas promessas diretamente. Ele reuniu 12 ferramentas: seis agentes de IA, quatro scanners DAST clássicos e uma combinação híbrida. Todas atacaram o OWASP Juice Shop v20.3.0, com 116 vulnerabilidades conhecidas. O melhor resultado não veio de um agente autônomo, mas do Claude conectado ao Burp Suite via MCP: 10 achados e nota 9/10. O melhor agente puramente autônomo, o Strix, encontrou cinco vulnerabilidades.

Como o ambiente de testes foi montado

O Juice Shop é escrito em Angular, Node.js/Express e SQLite. Ele reúne 116 desafios em 16 categorias, que cobrem todo o OWASP Top 10. A dificuldade vai de 1 a 6 estrelas: de cabeçalhos de segurança ausentes até desserialização e XXE.

O teste foi feito em modo black-box (caixa-preta). Ninguém recebeu o código-fonte. Os agentes de IA não foram avisados de que o alvo era o Juice Shop, para que o modelo não puxasse soluções prontas da internet. Foram avaliados desempenho, velocidade, qualidade dos relatórios, facilidade de uso, suporte a modelos locais, funcionamento a partir da Rússia sem VPN e custo. As medições foram feitas em setembro de 2026, em Windows 11 e Kali Linux.

Seis agentes de IA e um que não chegou a ter sua vez

• Strix (open-source, Apache 2.0): sistema multiagente em sandbox Docker, com suporte a OpenAI, Anthropic, Google, OpenRouter e Ollama. A primeira execução, com Qwen 3.5-35b via OpenRouter, terminou de forma anormal: 3 horas de trabalho e dois achados info. A segunda levou 58 minutos e entregou 5 vulnerabilidades (1 crítica, 3 altas, 1 média). O Strix confirmou a injeção de SQL com um PoC funcional. Custo de ~US$15 por scan, nota 6/10, funciona a partir da Rússia. O Qwen local via LM Studio rodou por mais de 24 horas e encontrou apenas 4 vulnerabilidades baixas.
• CAI, da Alias Robotics (MIT + Proprietary, projeto arquivado, sucessor: CSI): 10 minutos, 4 achados (3 médios, 1 baixo); deixou passar a injeção de SQL crítica. Custa ~US$1 por scan, nota 5/10. Os «3600x» anunciados ficaram só no papel.
• PentAGI: sandbox Docker, mais de 20 ferramentas (nmap, metasploit, sqlmap), interface web, suporte a Ollama, OpenAI, Anthropic, Google, AWS Bedrock, DeepSeek e Qwen. A primeira execução, com OpenAI, terminou com zero achados em 1h 50min. A segunda trouxe 6 achados (1 crítico, 1 médio, 2 baixos) em 1h 32min. Custo de ~US$2, nota 5/10, exige VPN.
• PenliAgent: agente comercial em nuvem (Free / US$40 por mês). O antivírus bloqueia o instalador no Windows, e no Kali a interface é lenta. Ele travou na varredura de portas, coletou 6 achados low/info em 1h 11min e ficou com 4/10. Exige VPN e não tem modelos locais.
• PentestGPT (publicação no USENIX Security 2024): rodou com Claude Opus. A instrução de três comandos não funcionou, e o resultado veio em JSON bruto. Ele encontrou a injeção de SQL, mas o autor atribui isso ao modelo, não ao wrapper. 3 achados em 20 minutos, ~US$20 por scan, nota 2/10.
• T3MP3ST (AGPL-3.0, afirma ter 90.1% no XBOW): rodou com Gemini 3.1 Pro. Em 12 minutos entregou 27 achados, todos de nível low/info, ou seja, os mesmos cabeçalhos de segurança que o Nikto e o Nuclei detectam. Custo de ~US$2, nota 2/10, exige VPN.
• Shannon: pentester white-box que precisa do código-fonte. Em black-box ele não chegou a iniciar e ficou fora da pontuação.

Clássicos e híbrido: quem pegou as vulnerabilidades sérias

• Acunetix (Invicti): 1h 20min, 13 achados, com críticos e médios, incluindo a injeção de SQL. Instala-se localmente, gera relatórios em PDF e funciona a partir da Rússia. Nota 8/10.
• Burp Suite Pro (~US$449 por ano): 28 minutos, 15 achados, todos low/info (cabeçalhos, CORS), mesmo com o Active Scan++. Não encontrou a injeção de SQL. Nota 6/10, mas continua sendo a referência para trabalho manual.
• Nuclei (ProjectDiscovery, mais de 10 000 templates): 11 minutos, 24 achados informativos. Gratuito, nota 2/10.
• Nikto: 4 minutos, 3 achados info, nota 1/10.
• Claude + Burp Suite MCP (~US$20 por mês): o Claude recebe o histórico de requisições, o mapa do site e os resultados do scanner do Burp, monta as próprias requisições de teste e escreve o relatório. 30 minutos, 10 achados: 2 críticos, 3 altos, 5 médios. Nota 9/10. Pontos negativos: funciona só na nuvem e não opera a partir da Rússia sem VPN.

O que isso significa na prática

A conclusão da tabela é incômoda para o marketing. A quantidade de achados diz quase nada sobre a qualidade: os 27 do T3MP3ST e os 24 do Nuclei eram ruído, enquanto os 5 do Strix incluíam uma injeção de SQL crítica confirmada. A instabilidade também ainda é normal nessa categoria de ferramenta. Strix e PentAGI falharam na primeira tentativa, e o PentAGI gastou tokens à toa.

Para equipes que precisam manter os dados locais, o quadro por enquanto é desanimador. O Qwen local no Strix consumiu um dia inteiro e entregou quatro achados fracos. Sem VPN, a partir da Rússia, funcionam apenas Strix, Acunetix, Burp, Nuclei e Nikto.

O esquema prático hoje: Acunetix como camada básica automática, Burp para o trabalho manual e Claude via MCP quando for preciso uma análise mais inteligente. Vale manter os agentes autônomos como experimento, não como substituto do pentester.