12 пентест-инструментов против Juice Shop: лучший AI-агент нашёл 5 дыр из 116

Каждую неделю на GitHub появляется очередной «AI-powered pentesting agent» с обещаниями «3600x ускорения по сравнению с человеком» или «90% на бенчмарках». Автор эксперимента на Habr проверил эти заявления напрямую. Он взял 12 инструментов: шесть AI-агентов, четыре классических DAST-сканера и одну гибридную связку. Все они атаковали OWASP Juice Shop v20.3.0 со 116 известными уязвимостями. Лучший результат показал не автономный агент, а Claude, подключённый к Burp Suite через MCP: 10 находок и оценка 9/10. Лучший чисто автономный агент, Strix, нашёл пять уязвимостей.

Как устроен стенд

Juice Shop написан на Angular, Node.js/Express и SQLite. Он содержит 116 челленджей в 16 категориях, которые покрывают весь OWASP Top 10. Сложность распределена от 1 до 6 звёзд: от отсутствующих заголовков безопасности до десериализации и XXE.

Тест шёл в режиме чёрного ящика. Исходный код никому не давали. AI-агентам не говорили, что перед ними Juice Shop, чтобы модель не подтянула готовые решения из интернета. Оценивали результативность, скорость, качество отчётов, удобство, поддержку локальных моделей, работу из РФ без VPN и стоимость. Замеры сделали в сентябре 2026 года на Windows 11 и Kali Linux.

Шесть AI-агентов и один, до которого не дошла очередь

• Strix (open-source, Apache 2.0): мультиагентная система в Docker-песочнице, поддерживает OpenAI, Anthropic, Google, OpenRouter и Ollama. Первый прогон на Qwen 3.5-35b через OpenRouter завершился аварийно: 3 часа работы и две info-находки. Второй занял 58 минут и дал 5 уязвимостей (1 критическая, 3 высокие, 1 средняя). SQL-инъекцию Strix подтвердил рабочим PoC. Цена ~$15 за скан, оценка 6/10, работает из РФ. Локальный Qwen через LM Studio шёл больше 24 часов и нашёл лишь 4 низкие уязвимости.
• CAI от Alias Robotics (MIT + Proprietary, проект архивирован, преемник — CSI): 10 минут, 4 находки (3 средние, 1 низкая), критическую SQL-инъекцию пропустил. Стоит ~$1 за скан, оценка 5/10. Заявленные «3600x» остались на бумаге.
• PentAGI: Docker-песочница, 20+ инструментов (nmap, metasploit, sqlmap), веб-UI, поддержка Ollama, OpenAI, Anthropic, Google, AWS Bedrock, DeepSeek и Qwen. Первый прогон на OpenAI принёс ноль находок за 1ч 50мин. Второй дал 6 находок (1 критическая, 1 средняя, 2 низкие) за 1ч 32мин. Цена ~$2, оценка 5/10, нужен VPN.
• PenliAgent: коммерческий облачный агент (Free / $40 в месяц). Установщик на Windows блокирует антивирус, на Kali интерфейс медленный. Он застрял на сканировании портов, за 1ч 11мин собрал 6 low/info и получил 4/10. Нужен VPN, локальных моделей нет.
• PentestGPT (публикация на USENIX Security 2024): запускался на Claude Opus. Инструкция из трёх команд не сработала, результат пришёл в сыром JSON. SQL-инъекцию нашёл, но автор приписывает это модели, а не обёртке. 3 находки за 20 минут, ~$20 за скан, оценка 2/10.
• T3MP3ST (AGPL-3.0, заявляет 90.1% на XBOW): работал на Gemini 3.1 Pro. За 12 минут выдал 27 находок, все уровня low/info, то есть те же заголовки безопасности, что ловят Nikto и Nuclei. Цена ~$2, оценка 2/10, нужен VPN.
• Shannon: white-box пентестер, которому нужен исходный код. В чёрном ящике он не запустился и в зачёт не вошёл.

Классика и гибрид: кто взял серьёзные уязвимости

• Acunetix (Invicti): 1ч 20мин, 13 находок с критическими и средними, включая SQL-инъекцию. Ставится локально, PDF-отчёты, из РФ работает. Оценка 8/10.
• Burp Suite Pro (~$449 в год): 28 минут, 15 находок, все low/info (заголовки, CORS) даже с Active Scan++. SQL-инъекцию не нашёл. Оценка 6/10, но для ручной работы остаётся эталоном.
• Nuclei (ProjectDiscovery, 10 000+ шаблонов): 11 минут, 24 информационные находки. Бесплатный, оценка 2/10.
• Nikto: 4 минуты, 3 info-находки, оценка 1/10.
• Claude + Burp Suite MCP (~$20 в месяц): Claude получает историю запросов, карту сайта и результаты сканера Burp, сам формирует тестовые запросы и пишет отчёт. 30 минут, 10 находок: 2 критические, 3 высокие, 5 средних. Оценка 9/10. Минусы: только облако, из РФ без VPN не работает.

Что из этого следует на практике

Вывод по таблице неприятный для маркетинга. Количество находок почти ничего не говорит о качестве: 27 у T3MP3ST и 24 у Nuclei оказались шумом, а 5 у Strix включали подтверждённую критическую SQL-инъекцию. Нестабильность тоже пока нормальна для этого класса. Strix и PentAGI с первой попытки не справились, а на PentAGI ушли токены впустую.

Для команд, которым важна локальность данных, картина пока невесёлая. Локальный Qwen в Strix потратил сутки и дал четыре слабых находки. Из РФ без VPN работают только Strix, Acunetix, Burp, Nuclei и Nikto.

Практичная схема на сегодня: Acunetix как автоматический базовый слой, Burp для ручной работы и Claude через MCP, когда нужен интеллектуальный разбор. Автономных агентов стоит держать как эксперимент, а не как замену пентестеру.