INFERA AI.SafeCode сводит 8 сканеров в карту атаки и гоняет чат-боты атаками
В отчёте сканера сотня уязвимостей, но неясно, до какой атакующий дотянется снаружи. INFERA AI.SafeCode сводит данные восьми сканеров в карту: от публичного endpoint'а через код до опасной операции. Модуль AI Red Team гонит по чат-боту атакующие запросы и считает долю успешных (ASR). Поэтому чините сначала находки на достижимом пути, а релиз блокируйте по росту ASR.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте отчёт по безопасности: сто с лишним уязвимостей, у каждой номер CWE, файл, строка и уровень критичности. С чего начинать? Уязвимость в заброшенном модуле и точно такая же в публичном endpoint'е выглядят в таблице одинаково, хотя риск у них разный. Разработчики российской платформы INFERA AI.SafeCode описали на Habr, как решают эту проблему. Первый подход: собрать данные восьми сканеров в одну карту поверхности атаки, то есть всего, до чего злоумышленник может дотянуться снаружи. Второй подход: AI Red Team, автоматическая проверка работающего чат-бота или ассистента потоком атакующих запросов, где главная метрика ASR (attack success rate) показывает долю успешных атак.
От списка находок к карте достижимости
Восемь сканеров — это SAST (анализ исходного кода), SCA (проверка open-source зависимостей), поиск секретов, DAST (проверка работающего приложения), Pentest (AI-агент, имитирующий ручной пентест), Code Fuzzing (поиск падений и крайних случаев), API Fuzzing (REST, GraphQL, gRPC и WebSocket) и MLSecOps-скан, который определяет состав ИИ-системы и ищет дефекты в её компонентах. Сами авторы признают: восемь сканеров в одном продукте не преимущество. Ценность в том, что результаты связаны между собой. Находка в коде привязана к endpoint'у, endpoint — к внешней поверхности, а статус проверки — к конкретному прогону и его дате.
Самый полезный срез — цепочка «вход → путь → sink». Sink здесь опасная операция: SQL-запрос, выполнение команды, небезопасная десериализация, выдача чувствительных данных. Допустим, у вас сотня находок. Если от публичного API до уязвимого обработчика есть путь, её разбирают первой. Если пути нет, она уходит ниже в очереди. Граф вызовов заодно показывает концентрацию риска, например несколько публичных endpoint'ов с одним и тем же небезопасным обработчиком.
Отдельно выделены blind spots — то, что не проверялось. Пустой отчёт не означает безопасности, если DAST не запускали после смены маршрутов, SCA смотрит на устаревший снимок зависимостей, а API fuzzing не знает о новых методах. Поэтому метрика покрытия должна отвечать не только на вопрос «сколько просканировано», но и на вопрос «какие важные пути остались без проверки».
Как проверяют LLM-приложение
У обычного веб-сервиса есть запрос, ответ и ожидаемое поведение. У LLM-приложения результат зависит от модели, системного промпта, инструментов, retrieval-данных и даже формулировки вопроса. Уязвимость проявляется не падением процесса, а неправильным поведением. Ассистент раскрывает системные инструкции. Защитное правило обходится перефразированием или многошаговым диалогом. Модель вызывает инструмент с опасными параметрами или уверенно отвечает без подтверждения. Классические сканеры такого не ловят.
AI Red Team отправляет чат-боту корпус атакующих запросов. Это версионируемый набор сценариев, а не ручной ввод в интерфейс. Параллельно можно прогнать корпус качества: вопросы с эталонными ответами. Он нужен, чтобы проверять не только «устояла ли модель», но и «не стала ли она хуже отвечать по делу».
Платформа считает пять показателей:
- ASR — доля успешных атак;
- citation rate — доля ответов с требуемой ссылкой на источник;
- grounded rate — доля ответов, обоснованных разрешёнными данными;
- hallucination rate — доля ответов с галлюцинациями;
- ASR drift — изменение успешности атак относительно эталона.
Эталон — зафиксированное поведение предыдущей версии. Он нужен не чтобы объявить систему «безопасной навсегда», а чтобы ловить регрессии. Если после смены модели, промпта или retrieval-индекса ASR вырос, это сигнал риска, даже когда абсолютное значение ещё укладывается в политику.
Как внедрять без остановки конвейера
Если пороги не заданы, прогон остаётся просто измерением. Стоит нарушить хотя бы один заданный порог — и прогон вернёт ошибку quality gate (проверка качества на выходе из сборки), а релиз может остановиться. Авторы советуют идти поэтапно. Сначала наблюдение на тестовом стенде. Затем мягкая политика, когда метрики видны в CI, но сборку не блокируют. Жёсткие блокировки включают только для критичных классов атак. После этого корпус регулярно пополняют реальными инцидентами и результатами ручных проверок.
Порог «ASR равен нулю» звучит строго, но для широкого корпуса с неоднозначными сценариями нереалистичен. Практичнее делить атаки по классам и блокировать релиз по тем, что критичны для вашего бизнеса. Заранее договоритесь и о том, что считать успешной атакой. Для одного приложения достаточно не слить секрет, для другого нужно убедиться, что модель не вызвала инструмент и не изменила запись.
Что стоит учесть
Материал написан самими разработчиками платформы. Независимых замеров, цифр по ложным срабатываниям или стоимости прогонов в нём нет. Граф достижимости не заменяет ручной анализ бизнес-логики.
Практический вывод полезен и без конкретного продукта. Храните атакующие и оценочные корпуса рядом с кодом. Привязывайте результаты к коммиту и версии модели. Повторяйте Red Team после смены модели, промпта, индекса или набора инструментов. Находки приоритизируйте по достижимости. Для команд, выпускающих LLM-функции, это способ превратить безопасность из разового «одобрения перед релизом» в повторяемый тест каждой версии.
- 21 нояб. 2026 г.Восемь open-source инструментов для ИИ-агентов: Browser Use лидирует со 121 тысячей звёзд
- 21 нояб. 2026 г.Parallel Search взял 83 балла в рейтинге 26 поисковых API для ИИ-агентов
- 21 нояб. 2026 г.MCP-сервер на 360 строк без SDK: пять решений, после которых агент перестал ломать ссылки
- 21 нояб. 2026 г.Text-to-cad: ИИ-агент рисует детали робота по описанию, проект набрал 26 тысяч звёзд
Вопросы и ответы по материалу
Что известно по теме: от списка находок к карте достижимости?
Восемь сканеров — это SAST (анализ исходного кода), SCA (проверка open-source зависимостей), поиск секретов, DAST (проверка работающего приложения), Pentest (AI-агент, имитирующий ручной пентест), Code Fuzzing (поиск падений и крайних случаев), API Fuzzing (REST, GraphQL, gRPC и WebSocket) и MLSecOps-скан, который определяет состав ИИ-системы и ищет дефекты в её компонентах. Сами авторы признают: восемь сканеров в одном продукте не преимущество. Ценность в том, что результаты связаны между собой.
Что известно по теме: как проверяют LLM-приложение?
У обычного веб-сервиса есть запрос, ответ и ожидаемое поведение. У LLM-приложения результат зависит от модели, системного промпта, инструментов, retrieval-данных и даже формулировки вопроса. Уязвимость проявляется не падением процесса, а неправильным поведением. Ассистент раскрывает системные инструкции. Защитное правило обходится перефразированием или многошаговым диалогом. Модель вызывает инструмент с опасными параметрами или уверенно отвечает без подтверждения. Классические сканеры такого не ловят.
Что известно по теме: как внедрять без остановки конвейера?
Если пороги не заданы, прогон остаётся просто измерением. Стоит нарушить хотя бы один заданный порог — и прогон вернёт ошибку quality gate (проверка качества на выходе из сборки), а релиз может остановиться. Авторы советуют идти поэтапно. Сначала наблюдение на тестовом стенде. Затем мягкая политика, когда метрики видны в CI, но сборку не блокируют. Жёсткие блокировки включают только для критичных классов атак. После этого корпус регулярно пополняют реальными инцидентами и результатами ручных проверок.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.