Agent Mosaic: LLM-агенты собирают секреты из безобидных документов в 7% ответов

Агент с доступом к корпоративной базе знаний может не показать ни одного закрытого документа и всё равно выдать секрет. Он просто соберёт его из нескольких доступных фрагментов. Авторы работы Agent Mosaic измерили, как часто это происходит. Они взяли 30 синтетических сценариев из кибербезопасности, медицины и военной сферы и получили 10 800 финальных ответов от трёх LLM-агентов в контролируемой симуляции. Ещё 1 440 ответов дали живые агенты в двух open-source обвязках. Лучшая из протестированных моделей, GPT-5.6-Sol, раскрыла запрещённый композитный вывод в 7,08% ответов (95% ДИ: 3,75–10,67%) даже на безобидные запросы, рассчитанные на ответ по одному документу.

Как из безобидных страниц складывается секрет

Эффект мозаики знаком по разведке и госсекретам. Один факт сам по себе ничего не значит, но при сопоставлении нескольких проявляется то, что скрывали. Раньше это была проблема аналитиков. Теперь её воспроизводит модель, которая умеет быстро искать, читать и обобщать.

Классические системы контроля доступа смотрят на документы: пользователь имеет право на файл A и файл B, значит, получает оба. Но агент не пересказывает файлы, а делает вывод. Если из A и B следует чувствительное заключение, которое должно быть доступно только допуску повыше, ни одна проверка прав не сработает. Каждый документ чист, утекает их сумма.

В эксперименте запросы были намеренно нейтральными. Модель никто не подталкивал к обходу ограничений, а ответ можно было дать по единственному документу. И всё равно часть ответов уходила дальше и формулировала запрещённый композит.

Грифы и правила агрегации помогают лишь частично

Защитой авторы выбрали очевидный для инженеров набор: видимые заголовки классификации в документах и явные правила агрегации в инструкциях. Раскрытия в сводной выборке заметно сократились. Но в 32,37% симулированных ответов (95% ДИ: 28,33–36,19%) небезопасные раскрытия остались, причём по всем типам намерений запроса.

Есть и неудобный побочный результат: рост числа отказов не гарантирует конфиденциальности. Значимая доля отказов сама раскрывала запрещённый вывод. Модель отвечает вроде «не могу подтвердить, что X связан с Y», и этим подтверждает связь. Для защиты данных это тот же провал, только вежливо оформленный.

Ключевые параметры исследования:

• 30 синтетических примеров: кибербезопасность, медицина, военная сфера
• 10 800 ответов трёх LLM-агентов в контролируемой симуляции
• 1 440 ответов живых агентов в двух open-source обвязках
• GPT-5.6-Sol, лучшая модель в тесте: 7,08% запрещённых раскрытий на безобидных запросах
• С грифами и правилами агрегации: 32,37% небезопасных ответов в сводной выборке
• В живых обвязках доля раскрытий выше, чем в симуляции

Что менять в архитектуре агентов с закрытыми данными

Главный вывод для разработчиков в том, что промпт не заменяет контроль доступа. Фраза «не агрегируй чувствительные данные» остаётся просьбой к модели, а не политикой, которую система способна проверить. Если в ответах 32% нарушений даже с явными правилами, на промптах защиту строить нельзя.

Практический минимум выглядит так. Во-первых, проверять не только права на документы, но и то, что агент собирается сказать. Нужен отдельный слой, который оценивает финальный ответ относительно допуска конкретного пользователя. Во-вторых, для смешанных по допуску аудиторий разумно ограничивать набор документов, попадающих в контекст одного сеанса. Чем меньше фрагментов видит агент, тем меньше возможностей для мозаики. В-третьих, отказы тоже нужно тестировать на утечки. Формулировка «не могу ответить» не должна подтверждать или опровергать запрещённый вывод.

Для компаний в медицине, обороне и ИБ, где агентов уже подключают к внутренним базам, работа служит готовым методологическим шаблоном. Нужно собрать собственные синтетические сценарии, где секрет складывается из нескольких допустимых документов, и прогнать их на своей обвязке. Результаты в живых харнесах оказались хуже симуляции, поэтому тестировать надо ту конфигурацию, которая реально работает в продакшене. Авторы прямо говорят о необходимости более строгих ограничений на то, что агенты вправе выводить и раскрывать в средах с пользователями разного уровня допуска.