Продакт без опыта SOC занял первое место на BlueSec1 с ИИ-агентом для триажа

Соревнование BlueSec1 устроено просто: нужно собрать ИИ-агента, который разбирает тревоги вместо аналитика первой линии SOC. В нём четыре этапа. Автор разбора на Хабре — продуктовый специалист из управления уязвимостями, тревоги по работе он не разбирает. Первое сообщение ИИ-напарнику у него звучало так: «я не понимаю смысл этого, объясни мне». На открытом этапе он всё равно занял первое место. Потом, как он пишет, оценки «погасили».

Материал на Хабре опубликован как рассказ участника. В доступном нам анонсе нет ни метрик точности, ни описания архитектуры агента, ни состава жюри. Ниже только то, что в нём заявлено, и контекст, в котором эта история читается.

Что за задача решается

Первая линия SOC (security operations center) занимается триажем. Аналитик получает тревогу от SIEM, EDR или другой системы, смотрит контекст и решает: закрыть как ложное срабатывание, эскалировать или запросить данные. Работа монотонная, объёмная и плохо масштабируется людьми. Именно поэтому её первой пробуют отдавать LLM-агентам.

Формат BlueSec1 проверяет, насколько агент может выполнять эту роль. Участнику нужно не просто подключить модель, а описать, как она рассуждает над тревогой, какие данные запрашивает и когда останавливается.

Почему история автора показательна

Главный факт здесь не место в таблице, а профиль победителя открытого этапа. Человек без опыта разбора тревог получил рабочего агента, потому что использовал ИИ и как исполнителя, и как объяснителя предметной области. Первая реплика «объясни мне, в чём смысл» стала началом процесса: сначала модель вводит автора в курс дела, потом они вместе строят решение.

Это поднимает неудобный вопрос о том, что именно измеряет соревнование. Если новичок обгоняет специалистов на открытом этапе, то либо задачи этапа хорошо формализуются и поддаются промптам, либо метрика оценивает не всё, что важно в реальном SOC. Автор сам намекает на проблему: после первого места оценки «погасили». Что это значит на практике (пересчёт, обнуление или смена методики), из анонса не ясно. Для ответа нужен полный текст.

Что известно из анонса

• Формат: соревнование BlueSec1 по созданию ИИ-агента для первой линии SOC.
• Структура: четыре этапа.
• Задача агента: разбирать тревоги вместо аналитика L1.
• Автор: продуктовый специалист по управлению уязвимостями, без практики разбора тревог.
• Результат: первое место на открытом этапе.
• Последующее развитие: оценки «погасили», детали в полной статье.

Что взять в работу

Команде, которая думает об ИИ в SOC, из этой истории полезны три вещи.

Первое: пилотируйте агента на тревогах с известным вердиктом. Если победитель открытого этапа может быть новичком, то и на своих данных стоит проверять, не подгоняется ли агент под ожидаемый ответ.

Второе: смотрите, как устроена оценка. Один рейтинг по верно закрытым тревогам скрывает цену ошибки. Пропущенный инцидент и лишняя эскалация стоят очень разных денег, и честная метрика их разделяет.

Третье: используйте ИИ для входа в предметную область так же, как это сделал автор. Попросите модель объяснить, как аналитик принимает решение, и зафиксируйте это в инструкции агента. Но финальную логику эскалации должен утверждать человек из SOC.

Полный рассказ о четырёх этапах и о том, что случилось с оценками, читайте в оригинальной статье на Хабре.