Агенты пишут рабочий код в 95% задач, но оставляют уязвимость в большинстве
Если ИИ-агенту не сказать про безопасность, он её и не добавит: тест от команды Qwen проверяет именно это. Из реальных проектов с прошлыми уязвимостями вырезают функции, и агент должен дописать их по описанию. Large 4 и DeepSeek v4.1 Flash написали работающий код примерно в 95% из 150 задач, но повторная атака проходила в большинстве из них. Поэтому код-ревью и автоматический поиск уязвимостей для агентского кода всё ещё обязательны.
AI-обработка оригинала X: @Chris_Wozniczek; редакция Hamidun News
Когда вы просите агента «допиши функцию авторизации» или «сделай загрузку файлов», вы обычно не добавляете «и сделай безопасно». Вопрос в том, что получится по умолчанию. Команда Qwen из Alibaba собрала бенчмарк, который измеряет именно эту привычку, а независимый разработчик Chris Wozniczek прогнал его на двух моделях: Large 4 и DeepSeek v4.1 Flash. Результат для всех, кто доверяет агентам продакшн-код, неприятный: работающий код модели пишут почти всегда, а уязвимость в нём чаще всего остаётся.
Как устроен тест
Авторы берут реальный проект, в котором когда-то нашли дыру. Из 150 сценариев 115 — настоящие CVE в опенсорс-проектах, а 35 — реалистичные бизнес-приложения на Java, которые написали специалисты по безопасности. Затем код, где была уязвимость, вырезают и оставляют вместо него заглушку <MASKED>.
Агент получает остальной проект и описание того, что должен делать пропавший кусок: сигнатуры функций, поведение и связь с остальным кодом. Интернета у него нет, тестов он не видит. Важная деталь: в тексте задачи слово «безопасность» не встречается. Это обычная задача на дописывание кода, как в рабочем тикете. Поэтому тест показывает привычки агента, а не его умение выполнить инструкцию «сделай защищённо».
Каждый сценарий существует в трёх размерах, всего получается 450 задач. В самом маленьком вырезают только затронутые функции. В остальных убирают целые файлы или до 8000 строк проекта. Wozniczek запускал самый маленький вариант, то есть 150 задач.
Две проверки, а не одна
Для каждой задачи есть две скрытые проверки. Первая — обычные тесты проекта: восстановленный код должен работать корректно. Вторая — повтор исходной атаки против нового кода. Она пройдена, только если атака не удалась. Задача считается решённой, когда проходят обе проверки.
Это важно, потому что привычные бенчмарки кода смотрят только на первую. По ней обе модели выглядят отлично: рабочий код примерно в 95% задач. Вторая проверка показала, что в большинстве случаев дыра осталась открытой. Это совпадает с опубликованными результатами бенчмарка, где даже лучшие агенты решают примерно одну задачу из четырёх.
Бытовая аналогия: подрядчик построил дом, и все краны работают, но входная дверь не запирается. Приёмка «всё включается» его пропустит. Приёмка «попробуем вломиться» — нет.
Кто всё это запустил
Отдельная часть истории — способ проведения. По словам автора, он выдал агенту Devin VPS и API-ключи и попросил провести весь эксперимент. Devin работал несколько часов и сам собрал сайт с отчётом, видео, ссылки на сырые файлы тестов и инфраструктуру. Отдельно автор просил собирать доказательства по ходу работы, чтобы отчёт можно было показать другим. Получается, что агент не только сдавал экзамен, но и организовал его проведение.
Что это значит на практике
- Не считайте прохождение юнит-тестов признаком безопасности. Агент с 95% рабочего кода может оставлять уязвимости в большинстве задач.
- Явно прописывайте требования безопасности в промптах и спецификациях и добавляйте проверки, которые пытаются взломать результат, а не только запускают его.
- Для агентского кода держите статический анализ, сканирование зависимостей и ревью человеком.
Ограничения
Это один прогон на самом лёгком из трёх размеров, на двух моделях, и сам автор называет его личным экспериментом. В его посте нет точных долей по каждой модели: сказано лишь, что дыру оставляли в большинстве задач. Сам бенчмарк при этом принадлежит команде Qwen, а его опубликованные цифры дают общий ориентир: если подсказки о безопасности нет, агенты по умолчанию пока не заменяют специалиста по безопасности.
- 21 нояб. 2026 г.GigaChat — 7-й в мире в слепом рейтинге на русском, но на 78 баллов Elo позади лидера
- 21 нояб. 2026 г.Китайские техногиганты удвоили траты на ИИ до $139 млрд, а лаборатории окупают меньше 8%
- 21 нояб. 2026 г.Агент Skein стирает старые этапы из контекста: 97% удачных запусков, но дороже OpenCode
- 21 нояб. 2026 г.Движок SGLang с ядрами Humming ускорил первый токен на 7–23%, вывод — на 17–34%
Вопросы и ответы по материалу
Что известно по теме: как устроен тест?
Авторы берут реальный проект, в котором когда-то нашли дыру. Из 150 сценариев 115 — настоящие CVE в опенсорс-проектах, а 35 — реалистичные бизнес-приложения на Java, которые написали специалисты по безопасности. Затем код, где была уязвимость, вырезают и оставляют вместо него заглушку <MASKED>. Агент получает остальной проект и описание того, что должен делать пропавший кусок: сигнатуры функций, поведение и связь с остальным кодом. Интернета у него нет, тестов он не видит.
Что известно по теме: две проверки, а не одна?
Для каждой задачи есть две скрытые проверки. Первая — обычные тесты проекта: восстановленный код должен работать корректно. Вторая — повтор исходной атаки против нового кода. Она пройдена, только если атака не удалась. Задача считается решённой, когда проходят обе проверки. Это важно, потому что привычные бенчмарки кода смотрят только на первую. По ней обе модели выглядят отлично: рабочий код примерно в 95% задач. Вторая проверка показала, что в большинстве случаев дыра осталась открытой.
Что известно по теме: кто всё это запустил?
Отдельная часть истории — способ проведения. По словам автора, он выдал агенту Devin VPS и API-ключи и попросил провести весь эксперимент. Devin работал несколько часов и сам собрал сайт с отчётом, видео, ссылки на сырые файлы тестов и инфраструктуру. Отдельно автор просил собирать доказательства по ходу работы, чтобы отчёт можно было показать другим. Получается, что агент не только сдавал экзамен, но и организовал его проведение.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.