12 herramientas de pentesting contra Juice Shop: el mejor agente de IA encontró 5 fallos de 116

Cada semana aparece en GitHub un nuevo «AI-powered pentesting agent» que promete «3600x de aceleración frente a un humano» o «90% en benchmarks». El autor de este experimento en Habr puso a prueba esas afirmaciones. Tomó 12 herramientas: seis agentes de IA, cuatro escáneres DAST clásicos y una combinación híbrida. Todas atacaron OWASP Juice Shop v20.3.0, con 116 vulnerabilidades conocidas. El mejor resultado no lo logró un agente autónomo, sino Claude conectado a Burp Suite mediante MCP: 10 hallazgos y una nota de 9/10. El mejor agente puramente autónomo, Strix, encontró cinco vulnerabilidades.

Cómo está montado el banco de pruebas

Juice Shop está escrito en Angular, Node.js/Express y SQLite. Contiene 116 retos en 16 categorías que cubren todo el OWASP Top 10. La dificultad va de 1 a 6 estrellas, desde cabeceras de seguridad ausentes hasta deserialización y XXE.

La prueba se hizo en modo caja negra. Nadie recibió el código fuente. A los agentes de IA no se les dijo que tenían delante Juice Shop, para que el modelo no recurriera a soluciones ya publicadas en internet. Se evaluaron la efectividad, la velocidad, la calidad de los informes, la comodidad de uso, el soporte de modelos locales, el funcionamiento desde Rusia sin VPN y el coste. Las mediciones se hicieron en septiembre de 2026 en Windows 11 y Kali Linux.

Seis agentes de IA y uno al que no le llegó el turno

• Strix (open-source, Apache 2.0): sistema multiagente en un sandbox de Docker, compatible con OpenAI, Anthropic, Google, OpenRouter y Ollama. La primera ejecución con Qwen 3.5-35b a través de OpenRouter terminó de forma anómala: 3 horas de trabajo y dos hallazgos info. La segunda duró 58 minutos y dio 5 vulnerabilidades (1 crítica, 3 altas, 1 media). Strix confirmó la inyección SQL con un PoC funcional. Cuesta ~$15 por escaneo, obtuvo 6/10 y funciona desde Rusia. El Qwen local a través de LM Studio estuvo en marcha más de 24 horas y solo encontró 4 vulnerabilidades bajas.
• CAI de Alias Robotics (MIT + Proprietary, proyecto archivado, sucesor: CSI): 10 minutos, 4 hallazgos (3 medios, 1 bajo); pasó por alto la inyección SQL crítica. Cuesta ~$1 por escaneo y obtuvo 5/10. El «3600x» prometido se quedó en el papel.
• PentAGI: sandbox de Docker, más de 20 herramientas (nmap, metasploit, sqlmap), interfaz web, compatible con Ollama, OpenAI, Anthropic, Google, AWS Bedrock, DeepSeek y Qwen. La primera ejecución con OpenAI no produjo ningún hallazgo en 1 h 50 min. La segunda dio 6 hallazgos (1 crítico, 1 medio, 2 bajos) en 1 h 32 min. Cuesta ~$2, obtuvo 5/10 y requiere VPN.
• PenliAgent: agente comercial en la nube (Free / $40 al mes). El antivirus bloquea el instalador en Windows y en Kali la interfaz va lenta. Se atascó en el escaneo de puertos, reunió 6 hallazgos low/info en 1 h 11 min y obtuvo 4/10. Requiere VPN y no admite modelos locales.
• PentestGPT (publicación en USENIX Security 2024): se ejecutó con Claude Opus. Las instrucciones de tres comandos no funcionaron y el resultado llegó en JSON sin procesar. Encontró la inyección SQL, pero el autor atribuye ese mérito al modelo y no al envoltorio. 3 hallazgos en 20 minutos, ~$20 por escaneo, nota de 2/10.
• T3MP3ST (AGPL-3.0, afirma un 90.1% en XBOW): funcionó con Gemini 3.1 Pro. En 12 minutos entregó 27 hallazgos, todos de nivel low/info, es decir, las mismas cabeceras de seguridad que detectan Nikto y Nuclei. Cuesta ~$2, obtuvo 2/10 y requiere VPN.
• Shannon: pentester white-box que necesita el código fuente. No arrancó en modo caja negra y no entró en la puntuación.

Clásicos e híbrido: quién se llevó las vulnerabilidades serias

• Acunetix (Invicti): 1 h 20 min, 13 hallazgos con críticos y medios, incluida la inyección SQL. Se instala en local, genera informes en PDF y funciona desde Rusia. Nota: 8/10.
• Burp Suite Pro (~$449 al año): 28 minutos, 15 hallazgos, todos low/info (cabeceras, CORS), incluso con Active Scan++. No encontró la inyección SQL. Obtuvo 6/10, aunque para el trabajo manual sigue siendo la referencia.
• Nuclei (ProjectDiscovery, más de 10 000 plantillas): 11 minutos, 24 hallazgos informativos. Es gratuito y obtuvo 2/10.
• Nikto: 4 minutos, 3 hallazgos info, nota de 1/10.
• Claude + Burp Suite MCP (~$20 al mes): Claude recibe el historial de peticiones, el mapa del sitio y los resultados del escáner de Burp, genera por sí mismo las peticiones de prueba y redacta el informe. 30 minutos, 10 hallazgos: 2 críticos, 3 altos, 5 medios. Nota: 9/10. Inconvenientes: solo funciona en la nube y no opera desde Rusia sin VPN.

Qué implica todo esto en la práctica

La conclusión de la tabla es incómoda para el marketing. El número de hallazgos dice casi nada sobre la calidad: los 27 de T3MP3ST y los 24 de Nuclei resultaron ser ruido, mientras que los 5 de Strix incluían una inyección SQL crítica confirmada. La inestabilidad, por ahora, también es normal en esta clase de herramientas. Strix y PentAGI no lo lograron al primer intento, y en PentAGI los tokens se gastaron en vano.

Para los equipos que necesitan mantener los datos en local, el panorama es poco alentador. El Qwen local en Strix tardó un día y produjo cuatro hallazgos débiles. Desde Rusia sin VPN solo funcionan Strix, Acunetix, Burp, Nuclei y Nikto.

El esquema práctico para hoy: Acunetix como capa base automática, Burp para el trabajo manual y Claude mediante MCP cuando se necesita un análisis más inteligente. Conviene tratar a los agentes autónomos como un experimento, no como un sustituto del pentester.