CyberArena сводит 12 ИИ-агентов в 466 матчах атаки и защиты в реальном времени

Команда авторов CyberArena опубликовала бенчмарк, в котором два ИИ-агента сидят в изолированных песочницах и одновременно взламывают чужой сервис и латают свой. Всего 12 передовых LLM-агентов сыграли 466 матчей на 40 задачах. По словам авторов, там, где тесты с одним агентом против статичной цели уже упёрлись в потолок, арена всё ещё разводит модели по силе. Работа вышла в Hugging Face Daily Papers.

Почему статичные тесты перестали работать

Большинство существующих бенчмарков по кибербезопасности проверяют агента в вакууме. Есть уязвимая цель, она не меняется, и нужно её взять. Такие тесты быстро насыщаются: модели доходят до высоких баллов, и различия между ними стираются. К тому же они не показывают главного. В реальных операциях защита меняется каждую минуту, а атакующий подстраивается под эти изменения.

CyberArena строится на симметричной схеме. Два агента действуют по одинаковым правилам, и каждый одновременно играет обе роли: атакует соперника и защищает собственный сервис. Бой идёт в несколько раундов, а сервисы постоянно меняются. Статичная мишень превращается в полуоткрытую задачу, где проверяются скорость и точность трёх действий: найти уязвимость, эксплуатировать её и закрыть патчем.

Чтобы бенчмарк не устарел так же быстро, как предшественники, авторы встроили автоматический агентный пайплайн. Он сам генерирует новые окружения, проверяет их и валидирует. Отдельная проблема парных поединков в том, что их исход трудно свести к одному числу. Для этого исследователи ввели динамическую модель. Она переводит ход матча в единые многомерные оценки по нападению, защите и доменным навыкам.

Что показали 466 матчей

Масштаб эксперимента в цифрах:

• 12 передовых LLM-агентов;
• 40 задач (челленджей);
• 466 матчей;
• оценка по трём осям: атака, защита, доменные навыки;
• формат: симметричный, параллельный, многораундовый, в изолированных песочницах.

Самое интересное в статье — поведение агентов. Авторы пишут, что траектории читаются как схватка, а не как экзамен. Слабые защитники закрывают одну дыру и пропускают следующую. Они же подтверждают исправления по устаревшим данным: объявляют сервис починенным, не проверив, что он ещё уязвим именно сейчас. Для живой защиты это типичная и дорогая ошибка.

Сильные агенты ведут себя иначе. Они думают на ход вперёд и оставляют бэкдоры, которыми воспользуются в поздних раундах. В одном из случаев агент написал собственный сниффер пакетов, чтобы наблюдать за действиями оппонента. Никто не просил его создавать инструмент разведки: он решил, что без него не справится.

Есть и оговорки. Судя по аннотации, 466 матчей на 12 моделей дают немного партий на каждую пару. Если все модели играли друг с другом, это в среднем около семи матчей на пару. Насколько устойчивы рейтинги, станет ясно из полного текста и методологии динамической модели. Реальные сети тоже сложнее песочниц с заранее известным набором сервисов.

Что делать командам, которые строят агентов для безопасности

Во-первых, не полагайтесь на результаты на статичных наборах задач. Если агент проходит CTF-подобные тесты, это ещё не значит, что он удержит защиту, когда соперник меняет тактику. Динамические сценарии с обратной связью ближе к реальности.

Во-вторых, добавьте в пайплайн защитного агента обязательную перепроверку. Любой патч должен подтверждаться свежей попыткой эксплуатации, а не прошлым логом. Именно на этом, по описанию авторов, ломаются слабые защитники.

В-третьих, учитывайте двойное назначение. Агент, который умеет ставить бэкдоры и самостоятельно писать сниффер, требует жёсткой изоляции, ограничения сетевых прав и полного логирования действий. Для исследователей CyberArena может стать общей площадкой: авторы позиционируют её как расширяемую экспериментальную платформу для будущих работ по киберагентам.