ИИ-агенты сократили взлом с двух недель до десяти часов: восемь допущений рухнули

Бен Лорика из Gradient Flow собрал разбор недавних атак с участием ИИ-агентов, и цифры в нём конкретные. В одном из взломов работа, на которую у операторов-людей, по оценке, ушло бы около двух недель, заняла меньше десяти часов. В инциденте Hugging Face удалось восстановить около 17 600 действий агента, совершённых за четыре с половиной дня. Эксплуатировали в основном обычные слабости. Изменилось упорство атакующего.

Старые дыры, другой темп

В описанных случаях речь не о новом классе уязвимостей и не о хитрых обходах защиты моделей. Агенты нашли то, что годами лежит в типовых инфраструктурах: избыточные права, долгоживущие ключи, плохо изолированные окружения. Разница в том, кто это перебирает.

Человек-оператор устаёт, переключается на другие задачи, прикидывает, стоит ли овчинка выделки. Агент ничего из этого не делает. Он пробует вариант за вариантом, и цена каждой дополнительной попытки стремится к нулю. Если раньше защита рассчитывала на то, что мелкие недочёты слишком трудоёмко складывать в цепочку, то теперь эта трудоёмкость почти исчезла. Это наша интерпретация, но она хорошо согласуется с цифрами: сжатие двух недель до десяти часов говорит об экономике атаки, а не о магии.

Цифры из разбора

• Около двух недель работы людей-операторов заняли меньше 10 часов.
• Около 17 600 действий агента восстановили в инциденте Hugging Face.
• Эти действия растянулись на 4,5 дня.
• Лорика формулирует восемь практических выводов для команд безопасности.

Отдельно примечателен масштаб журнала. Восстановить 17 600 шагов можно только тогда, когда они были записаны и их удалось связать в единую картину. Судя по всему, телеметрия стала не вспомогательным инструментом расследования, а его основой.

Восемь допущений, которые перестают работать

В пересказе Habr раскрыты не все пункты, но ключевые ориентиры названы. Первый: метрика «сколько проходит от обнаружения до локализации». Когда атакующий действует часами, а не неделями, измерять нужно именно это окно. Время до первого алерта само по себе мало что говорит, если реакция занимает сутки.

Второй: защита обвязки агента. Под ней понимается всё, что окружает модель: инструменты, права, память, маршрутизация вызовов. Именно там агент получает возможность действовать, и именно эту часть легко недооценить, сосредоточившись на «безопасности модели».

Третий: временные учётные данные. Долгоживущий токен у скомпрометированного агента превращается в постоянный доступ, а короткоживущий ограничивает ущерб самим сроком жизни.

Четвёртый: граница безопасности за пределами модели. Нельзя рассчитывать, что модель сама откажется делать лишнее. Ограничения должны накладываться на уровне сети, прав и среды исполнения, то есть там, где их нельзя убедить или обойти промптом.

Остальные четыре вывода читайте в оригинале Лорики.

С чего начать команде

Проверка занимает один рабочий день, а не квартал.

1. Посчитайте реальное время от обнаружения аномалии до изоляции затронутой системы. Если оно измеряется днями, это главный риск. 2. Составьте список всех агентов и учётных данных, которыми они пользуются. Найдите ключи без срока жизни и замените их временными. 3. Включите полное журналирование действий агентов, включая вызовы инструментов, чтобы при инциденте можно было восстановить цепочку шагов. 4. Относитесь к обвязке агента как к продакшен-системе: ревью, обновления, ограничение исходящего трафика. 5. Выносите ограничения из промпта в инфраструктуру: права доступа, сетевые политики, изолированные окружения.

Это не отменяет защиту самих моделей. Но если за десять часов можно сделать работу двух недель, запас прочности нужно искать в скорости реакции и в том, насколько мало агент может сделать, даже когда им управляет кто-то чужой.