12 outils de pentest contre Juice Shop : le meilleur agent IA trouve 5 failles sur 116

Chaque semaine, un nouvel « AI-powered pentesting agent » apparaît sur GitHub, avec des promesses comme « 3600x plus rapide qu'un humain » ou « 90% sur les benchmarks ». L'auteur de cette expérience sur Habr a vérifié ces affirmations directement. Il a retenu 12 outils : six agents IA, quatre scanners DAST classiques et une combinaison hybride. Tous ont attaqué OWASP Juice Shop v20.3.0 et ses 116 vulnérabilités connues. Le meilleur résultat n'est pas venu d'un agent autonome, mais de Claude connecté à Burp Suite via MCP : 10 découvertes et une note de 9/10. Le meilleur agent purement autonome, Strix, a trouvé cinq vulnérabilités.

Comment le banc d'essai est construit

Juice Shop repose sur Angular, Node.js/Express et SQLite. L'application contient 116 challenges répartis en 16 catégories, qui couvrent tout l'OWASP Top 10. La difficulté s'échelonne de 1 à 6 étoiles, des en-têtes de sécurité manquants jusqu'à la désérialisation et aux XXE.

Le test s'est déroulé en boîte noire. Personne n'a reçu le code source. Les agents IA n'ont pas été informés qu'ils s'attaquaient à Juice Shop, afin que le modèle ne puisse pas récupérer des solutions toutes faites sur internet. L'auteur a évalué l'efficacité, la vitesse, la qualité des rapports, la facilité d'usage, la prise en charge des modèles locaux, le fonctionnement depuis la Russie sans VPN et le coût. Les mesures ont été réalisées en septembre 2026 sous Windows 11 et Kali Linux.

Six agents IA, et un qui n'a pas eu son tour

• Strix (open source, Apache 2.0) : système multi-agents dans un bac à sable Docker, compatible avec OpenAI, Anthropic, Google, OpenRouter et Ollama. Le premier passage, sur Qwen 3.5-35b via OpenRouter, s'est terminé en échec : 3 heures de travail et deux découvertes de niveau info. Le second a duré 58 minutes et produit 5 vulnérabilités (1 critique, 3 élevées, 1 moyenne). Strix a confirmé l'injection SQL avec un PoC fonctionnel. Coût : ~$15 par scan, note de 6/10, fonctionne depuis la Russie. Qwen en local via LM Studio a tourné plus de 24 heures et n'a trouvé que 4 vulnérabilités faibles.
• CAI d'Alias Robotics (MIT + Proprietary, projet archivé, successeur : CSI) : 10 minutes, 4 découvertes (3 moyennes, 1 faible), et l'injection SQL critique est passée à la trappe. Coût : ~$1 par scan, note de 5/10. Les « 3600x » annoncés sont restés sur le papier.
• PentAGI : bac à sable Docker, plus de 20 outils (nmap, metasploit, sqlmap), interface web, prise en charge d'Ollama, OpenAI, Anthropic, Google, AWS Bedrock, DeepSeek et Qwen. Le premier passage sur OpenAI n'a donné aucune découverte en 1 h 50 min. Le second a livré 6 découvertes (1 critique, 1 moyenne, 2 faibles) en 1 h 32 min. Coût : ~$2, note de 5/10, VPN nécessaire.
• PenliAgent : agent cloud commercial (Free / $40 par mois). L'antivirus bloque l'installeur Windows, et l'interface est lente sous Kali. L'agent est resté bloqué sur le scan de ports, a rassemblé 6 découvertes low/info en 1 h 11 min et a obtenu 4/10. VPN nécessaire, pas de modèles locaux.
• PentestGPT (publication à USENIX Security 2024) : lancé sur Claude Opus. L'instruction en trois commandes n'a pas fonctionné, et le résultat est arrivé en JSON brut. L'outil a trouvé l'injection SQL, mais l'auteur attribue ce succès au modèle, pas à la surcouche. 3 découvertes en 20 minutes, ~$20 par scan, note de 2/10.
• T3MP3ST (AGPL-3.0, annonce 90.1% sur XBOW) : a tourné sur Gemini 3.1 Pro. En 12 minutes, il a produit 27 découvertes, toutes de niveau low/info, c'est-à-dire les mêmes en-têtes de sécurité que détectent Nikto et Nuclei. Coût : ~$2, note de 2/10, VPN nécessaire.
• Shannon : pentester white-box qui exige le code source. Il ne s'est pas lancé en boîte noire et n'a donc pas été classé.

Classiques et hybride : qui a trouvé les vulnérabilités sérieuses

• Acunetix (Invicti) : 1 h 20 min, 13 découvertes, avec des critiques et des moyennes, dont l'injection SQL. Installation en local, rapports PDF, fonctionne depuis la Russie. Note de 8/10.
• Burp Suite Pro (~$449 par an) : 28 minutes, 15 découvertes, toutes low/info (en-têtes, CORS), même avec Active Scan++. L'outil n'a pas trouvé l'injection SQL. Note de 6/10, mais il reste la référence pour le travail manuel.
• Nuclei (ProjectDiscovery, plus de 10 000 templates) : 11 minutes, 24 découvertes informatives. Gratuit, note de 2/10.
• Nikto : 4 minutes, 3 découvertes de niveau info, note de 1/10.
• Claude + Burp Suite MCP (~$20 par mois) : Claude reçoit l'historique des requêtes, la carte du site et les résultats du scanner Burp, formule lui-même les requêtes de test et rédige le rapport. 30 minutes, 10 découvertes : 2 critiques, 3 élevées, 5 moyennes. Note de 9/10. Inconvénients : cloud uniquement, ne fonctionne pas depuis la Russie sans VPN.

Ce que cela change en pratique

La conclusion du tableau est désagréable pour le marketing. Le nombre de découvertes en dit très peu sur la qualité : les 27 de T3MP3ST et les 24 de Nuclei n'étaient que du bruit, tandis que les 5 de Strix incluaient une injection SQL critique confirmée. L'instabilité reste, pour l'instant, normale pour cette catégorie d'outils. Strix et PentAGI ont échoué dès le premier essai, et PentAGI a consommé des tokens pour rien.

Pour les équipes qui tiennent à la localité des données, le tableau reste peu réjouissant. Qwen en local dans Strix a mobilisé une journée entière pour quatre découvertes faibles. Depuis la Russie, seuls Strix, Acunetix, Burp, Nuclei et Nikto fonctionnent sans VPN.

Le schéma le plus pragmatique aujourd'hui : Acunetix comme socle automatique, Burp pour le travail manuel, et Claude via MCP quand une analyse plus fine s'impose. Les agents autonomes méritent d'être gardés comme expérience, pas comme remplaçants du pentester.