ServiceNow: AI-агент сливает корпоративные тайны через цепочку поисковых запросов

Des chercheurs de ServiceNow ont publié MosaicLeaks sur Hugging Face — la première analyse systématique de la façon dont les agents IA pour la recherche approfondie peuvent involontairement exposer des données corporatives confidentielles. Le coupable n'est pas un piratage ou une erreur de code, mais la nature même des requêtes de recherche.

L'Effet

Mosaïque : Des Détails Innocents se Combinent en Secret

Le titre du travail fait référence à l'« effet mosaïque » de la théorie du renseignement : les faits publics individuels sont sûrs isolément, mais ensemble ils forment un tableau complet. Un agent IA travaillant avec des documents corporatifs effectue une série de requêtes de recherche. Chacune semble innocente. Mais un observateur externe voyant l'ensemble de la séquence peut reconstituer des informations confidentielles — calendriers de migration d'infrastructure, détails des incidents de sécurité, projets internes. Les chercheurs ont formalisé trois types de fuites :

• Fuite d'intention — les requêtes révèlent exactement ce que l'agent enquête
• Fuite de réponse — les requêtes permettent de déduire les réponses à des questions fermées
• Fuite d'information complète — l'observateur trouve des faits privés par lui-même, sans savoir quoi chercher

Le Paradoxe : Plus Précis = Plus Dangereux

La découverte la plus contre-intuitive : l'entraînement standard d'un agent pour une précision de recherche maximale le rend plus dangereux d'un point de vue confidentialité. Un agent de base non entraîné a résolu les tâches avec succès dans 48,7 % des cas. Après un entraînement basé uniquement sur les métriques de tâches, le succès a augmenté à 59,3 %. Mais la fréquence des fuites a augmenté — de 34,0 % à 51,7 %. Le mécanisme est simple : pour trouver le bon document, l'agent formule des requêtes plus précises et informatives. Cette même précision aide le moteur de recherche — et elle révèle beaucoup plus de contexte à un observateur externe.

«

Les requêtes plus informatives aident l'agent à trouver les bons documents, mais elles révèlent aussi plus de contexte à l'observateur sur ce qu'on cherche. »

PA-DR : Apprentissage avec Double Récompense

ServiceNow propose l'architecture Privacy-Aware Deep Research (PA-DR) — un système où l'agent est optimisé sur deux objectifs simultanément.

Récompenses contextuelles. En RL standard, l'agent ne reçoit une récompense que pour la réponse finale correcte. En PA-DR, chaque étape intermédiaire est évaluée en fonction de ce que l'agent savait à ce moment. Cela améliore considérablement l'efficacité de l'apprentissage : 5–6 fois moins d'exemples sont nécessaires pour atteindre une qualité comparable.

Récompenses de confidentialité entraînées. Un modèle évaluateur séparé pénalise l'agent pour les requêtes qui créent des vulnérabilités de mosaïque — celles qui révèlent l'intention ou permettent de déduire des faits privés. Les critères de confidentialité sont également appris à partir des données, non codés en dur.

Le résultat de la combinaison des deux mécanismes :

• Succès de la chaîne de tâches — 58,7 % (sans perte significative)
• Fréquence des fuites — 9,9 % (inférieure à celle de l'agent non entraîné de base à 34,0 %)

Ce que Cela Signifie

Le travail identifie une limitation fondamentale : les agents de recherche approfondie corporatifs ne sont pas sûrs par défaut. L'exécution d'un agent sur des données internes avec accès à Internet crée un canal de fuite que les utilisateurs peuvent ne pas soupçonner. PA-DR montre que le problème est techniquement résolvable sans sacrifier la qualité — mais cela nécessite des choix de conception conscients lors de l'entraînement, pas de compter sur le fait qu'un « bon agent se débrouille tout seul ».