Agent Mosaic : des agents LLM reconstituent des secrets à partir de documents anodins dans 7% des réponses

Un agent ayant accès à une base de connaissances d'entreprise peut ne montrer aucun document classifié et pourtant divulguer un secret. Il lui suffit de l'assembler à partir de plusieurs fragments accessibles. Les auteurs d'Agent Mosaic ont mesuré la fréquence de ce phénomène.

Ils ont retenu 30 scénarios synthétiques issus de la cybersécurité, de la médecine et du domaine militaire, et ont recueilli 10 800 réponses finales de trois agents LLM dans une simulation contrôlée. Des agents réels, exécutés dans deux harnais open source, ont fourni 1 440 réponses supplémentaires. Le meilleur modèle testé, GPT-5.

6-Sol, a révélé une conclusion composite interdite dans 7,08% des réponses (IC à 95% : 3,75–10,67%), y compris face à des requêtes anodines conçues pour obtenir une réponse à partir d'un seul document.

Comment des pages anodines composent un secret

L'effet mosaïque est bien connu dans le renseignement et la gestion des secrets d'État. Un fait isolé ne signifie rien, mais le recoupement de plusieurs d'entre eux fait apparaître ce que l'on cherchait à cacher. Longtemps, ce problème a concerné les analystes. Il est désormais reproduit par un modèle capable de chercher, de lire et de synthétiser rapidement.

Les systèmes classiques de contrôle d'accès raisonnent par document : l'utilisateur a le droit de consulter le fichier A et le fichier B, il obtient donc les deux. Or l'agent ne se contente pas de reformuler des fichiers : il en tire une inférence. Si A et B conduisent à une conclusion sensible, réservée à un niveau d'habilitation supérieur, aucune vérification des droits ne se déclenche. Chaque document est inoffensif ; c'est leur somme qui fuite.

Dans l'expérience, les requêtes étaient volontairement neutres. Personne ne poussait le modèle à contourner des restrictions, et la réponse pouvait être donnée à partir d'un seul document. Pourtant, une partie des réponses est allée plus loin et a formulé le composite interdit.

Marquages et règles d'agrégation n'aident que partiellement

Pour la défense, les auteurs ont retenu un dispositif évident pour des ingénieurs : des en-têtes de classification visibles dans les documents et des règles d'agrégation explicites dans les instructions. Les divulgations ont nettement reculé dans l'échantillon agrégé. Mais 32,37% des réponses simulées (IC à 95% : 28,33–36,19%) contenaient encore des divulgations non sécurisées, et ce pour tous les types d'intention de requête.

Un résultat secondaire est plus gênant : multiplier les refus ne garantit pas la confidentialité. Une part significative des refus révélait elle-même la conclusion interdite. Le modèle répond par exemple « je ne peux pas confirmer que X est lié à Y », et confirme ainsi le lien. Pour la protection des données, c'est le même échec, simplement présenté poliment.

Principaux paramètres de l'étude :

• 30 exemples synthétiques : cybersécurité, médecine, domaine militaire
• 10 800 réponses de trois agents LLM dans une simulation contrôlée
• 1 440 réponses d'agents réels dans deux harnais open source
• GPT-5.6-Sol, meilleur modèle du test : 7,08% de divulgations interdites sur des requêtes anodines
• Avec marquages et règles d'agrégation : 32,37% de réponses non sécurisées dans l'échantillon agrégé
• Dans les harnais réels, la part de divulgations est plus élevée qu'en simulation

Que changer dans l'architecture des agents manipulant des données classifiées ?

La principale leçon pour les développeurs : un prompt ne remplace pas un contrôle d'accès. La consigne « n'agrège pas de données sensibles » reste une demande adressée au modèle, pas une politique que le système peut vérifier. Si l'on observe 32% de violations même avec des règles explicites, on ne peut pas bâtir la protection sur des prompts.

Le minimum pratique se résume ainsi. Premièrement, vérifier non seulement les droits sur les documents, mais aussi ce que l'agent s'apprête à dire. Il faut une couche distincte qui évalue la réponse finale par rapport à l'habilitation de l'utilisateur concerné. Deuxièmement, pour les publics aux habilitations mixtes, il est raisonnable de limiter l'ensemble des documents qui entrent dans le contexte d'une même session. Moins l'agent voit de fragments, moins la mosaïque a de chances de se former. Troisièmement, les refus doivent eux aussi être testés pour détecter les fuites. La formule « je ne peux pas répondre » ne doit ni confirmer ni infirmer une conclusion interdite.

Pour les entreprises de la santé, de la défense et de la sécurité de l'information, où l'on branche déjà des agents sur des bases internes, ce travail fournit un modèle méthodologique prêt à l'emploi. Il faut construire ses propres scénarios synthétiques, où le secret se compose de plusieurs documents autorisés, puis les exécuter sur son propre harnais. Les résultats se sont révélés plus mauvais dans les harnais réels qu'en simulation : c'est donc la configuration réellement utilisée en production qu'il faut tester. Les auteurs soulignent explicitement la nécessité de restrictions plus strictes sur ce que les agents sont autorisés à produire et à divulguer dans des environnements où les utilisateurs ont des niveaux d'habilitation différents.