Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуHabr AI→ оригинал

INFERA AI.SafeCode сводит 8 сканеров в карту атаки и гоняет чат-боты атаками

В отчёте сканера сотня уязвимостей, но неясно, до какой атакующий дотянется снаружи. INFERA AI.SafeCode сводит данные восьми сканеров в карту: от публичного endpoint'а через код до опасной операции. Модуль AI Red Team гонит по чат-боту атакующие запросы и считает долю успешных (ASR). Поэтому чините сначала находки на достижимом пути, а релиз блокируйте по росту ASR.

AI-обработка оригинала Habr AI; редакция Hamidun News
INFERA AI.SafeCode сводит 8 сканеров в карту атаки и гоняет чат-боты атаками
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Пять метрикASR, citation, grounded, hallucination rate и ASR drift
Эталон — поведение прошлой версиирост ASR сигнал даже в рамках нормы
Ключевой факт #3Порог задан и нарушен — сборка падает с ошибкой quality gate

Представьте отчёт по безопасности: сто с лишним уязвимостей, у каждой номер CWE, файл, строка и уровень критичности. С чего начинать? Уязвимость в заброшенном модуле и точно такая же в публичном endpoint'е выглядят в таблице одинаково, хотя риск у них разный. Разработчики российской платформы INFERA AI.SafeCode описали на Habr, как решают эту проблему. Первый подход: собрать данные восьми сканеров в одну карту поверхности атаки, то есть всего, до чего злоумышленник может дотянуться снаружи. Второй подход: AI Red Team, автоматическая проверка работающего чат-бота или ассистента потоком атакующих запросов, где главная метрика ASR (attack success rate) показывает долю успешных атак.

От списка находок к карте достижимости

Восемь сканеров — это SAST (анализ исходного кода), SCA (проверка open-source зависимостей), поиск секретов, DAST (проверка работающего приложения), Pentest (AI-агент, имитирующий ручной пентест), Code Fuzzing (поиск падений и крайних случаев), API Fuzzing (REST, GraphQL, gRPC и WebSocket) и MLSecOps-скан, который определяет состав ИИ-системы и ищет дефекты в её компонентах. Сами авторы признают: восемь сканеров в одном продукте не преимущество. Ценность в том, что результаты связаны между собой. Находка в коде привязана к endpoint'у, endpoint — к внешней поверхности, а статус проверки — к конкретному прогону и его дате.

Самый полезный срез — цепочка «вход → путь → sink». Sink здесь опасная операция: SQL-запрос, выполнение команды, небезопасная десериализация, выдача чувствительных данных. Допустим, у вас сотня находок. Если от публичного API до уязвимого обработчика есть путь, её разбирают первой. Если пути нет, она уходит ниже в очереди. Граф вызовов заодно показывает концентрацию риска, например несколько публичных endpoint'ов с одним и тем же небезопасным обработчиком.

Отдельно выделены blind spots — то, что не проверялось. Пустой отчёт не означает безопасности, если DAST не запускали после смены маршрутов, SCA смотрит на устаревший снимок зависимостей, а API fuzzing не знает о новых методах. Поэтому метрика покрытия должна отвечать не только на вопрос «сколько просканировано», но и на вопрос «какие важные пути остались без проверки».

Как проверяют LLM-приложение

У обычного веб-сервиса есть запрос, ответ и ожидаемое поведение. У LLM-приложения результат зависит от модели, системного промпта, инструментов, retrieval-данных и даже формулировки вопроса. Уязвимость проявляется не падением процесса, а неправильным поведением. Ассистент раскрывает системные инструкции. Защитное правило обходится перефразированием или многошаговым диалогом. Модель вызывает инструмент с опасными параметрами или уверенно отвечает без подтверждения. Классические сканеры такого не ловят.

AI Red Team отправляет чат-боту корпус атакующих запросов. Это версионируемый набор сценариев, а не ручной ввод в интерфейс. Параллельно можно прогнать корпус качества: вопросы с эталонными ответами. Он нужен, чтобы проверять не только «устояла ли модель», но и «не стала ли она хуже отвечать по делу».

Платформа считает пять показателей:

  • ASR — доля успешных атак;
  • citation rate — доля ответов с требуемой ссылкой на источник;
  • grounded rate — доля ответов, обоснованных разрешёнными данными;
  • hallucination rate — доля ответов с галлюцинациями;
  • ASR drift — изменение успешности атак относительно эталона.

Эталон — зафиксированное поведение предыдущей версии. Он нужен не чтобы объявить систему «безопасной навсегда», а чтобы ловить регрессии. Если после смены модели, промпта или retrieval-индекса ASR вырос, это сигнал риска, даже когда абсолютное значение ещё укладывается в политику.

Как внедрять без остановки конвейера

Если пороги не заданы, прогон остаётся просто измерением. Стоит нарушить хотя бы один заданный порог — и прогон вернёт ошибку quality gate (проверка качества на выходе из сборки), а релиз может остановиться. Авторы советуют идти поэтапно. Сначала наблюдение на тестовом стенде. Затем мягкая политика, когда метрики видны в CI, но сборку не блокируют. Жёсткие блокировки включают только для критичных классов атак. После этого корпус регулярно пополняют реальными инцидентами и результатами ручных проверок.

Порог «ASR равен нулю» звучит строго, но для широкого корпуса с неоднозначными сценариями нереалистичен. Практичнее делить атаки по классам и блокировать релиз по тем, что критичны для вашего бизнеса. Заранее договоритесь и о том, что считать успешной атакой. Для одного приложения достаточно не слить секрет, для другого нужно убедиться, что модель не вызвала инструмент и не изменила запись.

Что стоит учесть

Материал написан самими разработчиками платформы. Независимых замеров, цифр по ложным срабатываниям или стоимости прогонов в нём нет. Граф достижимости не заменяет ручной анализ бизнес-логики.

Практический вывод полезен и без конкретного продукта. Храните атакующие и оценочные корпуса рядом с кодом. Привязывайте результаты к коммиту и версии модели. Повторяйте Red Team после смены модели, промпта, индекса или набора инструментов. Находки приоритизируйте по достижимости. Для команд, выпускающих LLM-функции, это способ превратить безопасность из разового «одобрения перед релизом» в повторяемый тест каждой версии.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: от списка находок к карте достижимости?

Восемь сканеров — это SAST (анализ исходного кода), SCA (проверка open-source зависимостей), поиск секретов, DAST (проверка работающего приложения), Pentest (AI-агент, имитирующий ручной пентест), Code Fuzzing (поиск падений и крайних случаев), API Fuzzing (REST, GraphQL, gRPC и WebSocket) и MLSecOps-скан, который определяет состав ИИ-системы и ищет дефекты в её компонентах. Сами авторы признают: восемь сканеров в одном продукте не преимущество. Ценность в том, что результаты связаны между собой.

Что известно по теме: как проверяют LLM-приложение?

У обычного веб-сервиса есть запрос, ответ и ожидаемое поведение. У LLM-приложения результат зависит от модели, системного промпта, инструментов, retrieval-данных и даже формулировки вопроса. Уязвимость проявляется не падением процесса, а неправильным поведением. Ассистент раскрывает системные инструкции. Защитное правило обходится перефразированием или многошаговым диалогом. Модель вызывает инструмент с опасными параметрами или уверенно отвечает без подтверждения. Классические сканеры такого не ловят.

Что известно по теме: как внедрять без остановки конвейера?

Если пороги не заданы, прогон остаётся просто измерением. Стоит нарушить хотя бы один заданный порог — и прогон вернёт ошибку quality gate (проверка качества на выходе из сборки), а релиз может остановиться. Авторы советуют идти поэтапно. Сначала наблюдение на тестовом стенде. Затем мягкая политика, когда метрики видны в CI, но сборку не блокируют. Жёсткие блокировки включают только для критичных классов атак. После этого корпус регулярно пополняют реальными инцидентами и результатами ручных проверок.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…