Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарHabr AI→ оригинал

RSAC 2026 спустя время: ИИ-помощники выдумали 19,7% рекомендованных пакетов

Команда Positive Technologies перечитала доклады с RSAC 2026, крупной конференции по кибербезопасности, и проверила прогнозы. Например, ИИ-помощник советует несуществующую библиотеку, а хакер регистрирует это имя с вирусом; таких выдумок было 19,7% из 2,23 млн советов. Громкие цифры вендоров без методики — лишь повод проверить. Перед установкой пакета от ИИ смотрите его происхождение и код.

AI-обработка оригинала Habr AI; редакция Hamidun News
RSAC 2026 спустя время: ИИ-помощники выдумали 19,7% рекомендованных пакетов
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1В 43% случаев модель десять раз из десяти выдумала то же имя пакета
Ключевой факт #2Ассистент в карточке инцидента сократил время до триажа с 42 до 27 минут
Ключевой факт #393,4% ML-правил SOC за год не дали ни одной подтверждённой угрозы

В марте на RSAC 2026, одной из крупнейших конференций по кибербезопасности, прошло больше 570 сессий, и заметную часть программы заняли ИИ-агенты. ML-команда Positive Technologies выбрала десять выступлений и посмотрела, что произошло с их прогнозами после конференции. Главная проблема в том, что громкие цифры из докладов редко подкреплены методикой. Пример на пальцах: вы просите ИИ-помощника подобрать библиотеку для Python, он называет пакет, которого никогда не существовало, а атакующий заранее регистрирует это имя в реестре и кладёт туда вредоносный код. Такая атака называется slopsquatting, и в одном из исследований 19,7% из 2,23 млн рекомендаций пакетов оказались выдуманными. Практический вывод: проверяйте происхождение зависимостей и чужие метрики на своих данных. Ниже восемь докладов из разбора: что сказали авторы и где нужна оговорка.

Риски для тех, кто пользуется ИИ и пишет с ним код

AIKatz (Стив Купчик, Lumia Security). Если на компьютере уже сидит троян, он может прочитать из памяти настольного ИИ-приложения токен и пойти в сервис от имени пользователя. У ChatGPT и Copilot исследователи извлекали токены, у Claude — ключ сессии из cookie. С живой сессией историю чатов можно просто запросить, а через функцию памяти — попытаться повлиять на будущие ответы. Microsoft, Anthropic и OpenAI закрыли отчёты как информационные: доступ к памяти процесса внутри той же сессии, по их логике, границу безопасности не пересекает. Защита — ограничить доступ к памяти процессов ИИ-приложений и следить за обращениями, но это не замена защите рабочего места.

Slopsquatting (Джо Спраклен, USENIX Security 2025). Авторы проверили 16 моделей на задачах для Python и JavaScript. Из 2,23 млн рекомендаций 19,7% оказались несуществующими пакетами: у коммерческих моделей в среднем не менее 5,2%, у открытых 21,7%.

Опаснее всего повторяемость: в 43% случаев модель выдумывала то же имя десять раз из десяти, так что атакующему не нужно гадать, какое имя регистрировать. RAG (подсказка модели списка известных пакетов) снизил долю выдумок, например у CodeLlama 7B с 26,28% до 13,40%. Дообучение дало 2,66% и 10,27% у двух моделей, но решаемость задач в HumanEval, тесте на написание кода, просела: у DeepSeek с 51,4% до 25,3%.

Это данные 2025 года и конкретных моделей, на нынешние инструменты их переносить нельзя. Вывод: проверяйте происхождение и содержимое зависимости, а не только существование имени.

«Код ИИ уязвимее человеческого?» (OX Security). Авторы изучили больше 300 открытых приложений, из них 50+ написаны вайб-кодингом, то есть почти целиком ИИ, и попросили Cursor, Claude и Codex сделать один и тот же сервис. Нашли open redirect, path traversal и XSS. Но сравнения частоты ошибок с кодом людей нет, методика проверки репозиториев не раскрыта, так что ответа на вопрос из названия доклад не даёт. Зато скорость генерации увеличивает объём кода на ревью.

Атакующие и их автоматизация

VibeCrime (TrendAI). ИИ встраивается в рынок «преступлений как услуги»: фишинг, код, обработка украденных данных. Многие «криминальные LLM» — обычные модели без ограничений или перепродажа чужого API; WormGPT рекламировали ещё в 2023-м. Следующий шаг авторы называют cybercrime-as-a-sidekick: оркестратор раздаёт задачи агентам для разведки, поиска входа и подготовки инструментов. Это прогноз, а не подтверждённая практика; скорость перехода, по мнению авторов, определит экономика.

Always-on purple team (NVISO и SANS). Purple team — согласованные проверки, где атакующие и защитники вместе смотрят, что заметила защита. Идея доклада: агент ищет точку входа, оператор утверждает план. В демо агент на GPT-5 через OpenClaw и Telegram с Kali Linux и theHarvester провёл OSINT-разведку тестовой цели и починил проблему с MCP-сервером. Полной цепочки до доступа не показали, а правил для самого агента — кто подтверждает действия, как ограничена область — не хватает.

Защитники и их метрики

AI Agents Never Sleep (Эрез Харуш, Wiz). Агент разбирает алерты в SOC (центре мониторинга и реагирования на инциденты): заявлено 3000 расследований в месяц на команду, 3–20 минут на вердикт, $0,5–1,5 за случай. Это данные вендора без независимой проверки. Полезнее инженерные уроки: при ~30 инструментах агент путался, а примеры маршрутизации подняли точность выбора с 60% до 95%; к восьмому шагу агент забывал исходный алерт, поэтому нужны сжатие контекста, субагенты и контрольные точки. Промпты стоит версионировать и тестировать как код.

We Put AI in Our SOC (Гупта и Миттал). Вместо автономного аналитика — помощник в карточке инцидента с доступом только на чтение и ссылками на доказательства. Время до триажа (первичной оценки) упало с 42 до 27 минут, до закрытия кейса — с 3,2 до 2,5 часа. Проект шестимесячный, на стадии оценки; проблемы вроде промпт-инъекций в логах решали нормализацией данных и отделением недоверенного текста от инструкций.

Детекторы SOC (Дори Фишер, Swordfish). По данным крупного MSSP (поставщика управляемой безопасности, 82 620 записей), за год ни одной подтверждённой угрозы не дали 93,4% ML-правил и 94,7% статических. Но это ещё не значит, что правила бесполезны: они могут ловить редкое или дублировать другие. Фишер предлагает считать не алерты, а инциденты: найден ли, как быстро пришёл первый полезный сигнал, что детектор добавил к покрытию.

Что из этого следует

Общий урок: прогнозы и вендорские цифры без методики — повод для проверки, а не для закупки. Для разработчиков — контролировать зависимости и ревьюить сгенерированный код. Для SOC и основателей — мерить эффект на своих данных, ограничивать права агента и отдельно проверять интеграции, где «галлюцинация» нередко оказывается битым коннектором.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: риски для тех, кто пользуется ИИ и пишет с ним код?

AIKatz (Стив Купчик, Lumia Security). Если на компьютере уже сидит троян, он может прочитать из памяти настольного ИИ-приложения токен и пойти в сервис от имени пользователя. У ChatGPT и Copilot исследователи извлекали токены, у Claude — ключ сессии из cookie. С живой сессией историю чатов можно просто запросить, а через функцию памяти — попытаться повлиять на будущие ответы.

Что известно по теме: атакующие и их автоматизация?

VibeCrime (TrendAI). ИИ встраивается в рынок «преступлений как услуги»: фишинг, код, обработка украденных данных. Многие «криминальные LLM» — обычные модели без ограничений или перепродажа чужого API; WormGPT рекламировали ещё в 2023-м. Следующий шаг авторы называют cybercrime-as-a-sidekick: оркестратор раздаёт задачи агентам для разведки, поиска входа и подготовки инструментов. Это прогноз, а не подтверждённая практика; скорость перехода, по мнению авторов, определит экономика.

Что известно по теме: защитники и их метрики?

AI Agents Never Sleep (Эрез Харуш, Wiz). Агент разбирает алерты в SOC (центре мониторинга и реагирования на инциденты): заявлено 3000 расследований в месяц на команду, 3–20 минут на вердикт, $0,5–1,5 за случай. Это данные вендора без независимой проверки. Полезнее инженерные уроки: при ~30 инструментах агент путался, а примеры маршрутизации подняли точность выбора с 60% до 95%; к восьмому шагу агент забывал исходный алерт, поэтому нужны сжатие контекста, субагенты и контрольные точки.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…