ServiceNow: AI-агент сливает корпоративные тайны через цепочку поисковых запросов

Исследователи ServiceNow опубликовали на Hugging Face работу MosaicLeaks — первый систематический анализ того, как AI-агенты для глубокого поиска могут непреднамеренно раскрывать конфиденциальные корпоративные данные. Виновник — не взлом и не ошибка в коде, а сама природа поисковых запросов.

Эффект мозаики: безобидное складывается в секрет

Название работы отсылает к «мозаичному эффекту» из теории разведки: отдельные публичные факты безопасны по отдельности, но вместе образуют полную картину. AI-агент, работающий с корпоративными документами, делает серию запросов к поисковику. Каждый выглядит невинно.

Но сторонний наблюдатель, видящий всю последовательность, способен восстановить конфиденциальную информацию — сроки миграции инфраструктуры, детали инцидентов безопасности, внутренние проекты. Исследователи формализовали три вида утечек: Intent leakage — по запросам понятно, что именно агент расследует Answer leakage — из запросов можно вывести ответы на закрытые вопросы * Full-information leakage — наблюдатель сам находит приватные факты, не зная, что искать ## Парадокс: точнее — значит опаснее Самый контринтуитивный вывод: стандартное обучение агента на максимальную точность поиска делает его более опасным с точки зрения приватности. Базовый необученный агент решал задачи успешно в 48,7% случаев.

После обучения только на task-метрику успешность выросла до 59,3%. Но частота утечек при этом увеличилась — с 34,0% до 51,7%. Механизм простой: чтобы найти нужный документ, агент формулирует более точные и информативные запросы.

Именно это и помогает поисковику — и именно это больше раскрывает стороннему наблюдателю.

«Более информативные запросы помогают агенту находить нужные

документы, но заодно раскрывают наблюдателю больший контекст о том, что ищут».

PA-DR: обучение с двойным вознаграждением

ServiceNow предлагает архитектуру Privacy-Aware Deep Research (PA-DR) — систему, в которой агент оптимизируется по двум целям одновременно. Ситуативные награды. В стандартном RL агент получает вознаграждение только за итоговый правильный ответ.

В PA-DR каждый промежуточный шаг оценивается с учётом того, что агент знал в этот момент. Это резко повышает обучаемость: нужно в 5–6 раз меньше примеров для достижения аналогичного качества. **Обученные награды приватности.

Отдельная модель-оценщик штрафует агента за запросы, создающие мозаичную уязвимость — раскрывающие намерение или позволяющие вывести закрытые факты. Критерии приватности тоже обучаются на данных, а не прописываются вручную. Результат комбинации двух механизмов: Успешность на цепочке задач — 58,7% (без существенных потерь) Частота утечек — 9,9%** (ниже, чем у исходного необученного агента с 34,0%) ## Что это значит Работа фиксирует принципиальное ограничение: корпоративные deep-research агенты небезопасны по умолчанию.

Запуск агента на внутренних данных с доступом в интернет создаёт канал утечки, о котором пользователь может и не подозревать. PA-DR показывает, что проблема решаема технически без жертв в качестве — но это требует осознанного решения при обучении, а не надежды на то, что «хороший агент сам разберётся».