ServiceNow: AI-агент сливает корпоративные тайны через цепочку поисковых запросов

Pesquisadores da ServiceNow publicaram MosaicLeaks no Hugging Face — a primeira análise sistemática de como agentes de IA para pesquisa profunda podem inadvertidamente expor dados corporativos confidenciais. O culpado não é um hack ou erro de código, mas a própria natureza das consultas de busca.

O Efeito Mosaico: Detalhes Inocentes se Combinam em Segredo

O título do trabalho faz referência ao "efeito mosaico" da teoria de inteligência: fatos públicos individuais são seguros isoladamente, mas juntos formam um quadro completo. Um agente de IA trabalhando com documentos corporativos faz uma série de consultas de busca. Cada uma parece inócua. Mas um observador externo vendo toda a sequência pode reconstruir informações confidenciais — cronogramas de migração de infraestrutura, detalhes de incidentes de segurança, projetos internos. Pesquisadores formalizaram três tipos de vazamentos:

• Vazamento de intenção — as consultas revelam exatamente o que o agente está investigando
• Vazamento de resposta — as consultas permitem inferir respostas a perguntas fechadas
• Vazamento de informação completa — o observador encontra fatos privados por conta própria, sem saber o que buscar

O Paradoxo: Mais Preciso = Mais Perigoso

A descoberta mais contraintuitiva: o treinamento padrão de um agente para máxima precisão de busca o torna mais perigoso do ponto de vista da privacidade. Um agente básico não treinado resolveu tarefas com sucesso em 48,7% dos casos. Após treinamento apenas em métrica de tarefas, o sucesso aumentou para 59,3%. Mas a frequência de vazamentos aumentou — de 34,0% para 51,7%. O mecanismo é simples: para encontrar o documento correto, o agente formula consultas mais precisas e informativas. Esta mesma precisão ajuda o mecanismo de busca — e revela muito mais contexto ao observador externo.

"Consultas mais informativas ajudam o agente a encontrar os documentos

certos, mas também revelam mais contexto ao observador sobre o que está sendo procurado."

PA-DR: Aprendizado com Recompensa Dupla

ServiceNow propõe a arquitetura Privacy-Aware Deep Research (PA-DR) — um sistema onde o agente é otimizado para dois objetivos simultaneamente.

Recompensas contextuais. Em RL padrão, o agente recebe uma recompensa apenas pela resposta final correta. Em PA-DR, cada passo intermediário é avaliado com base no que o agente sabia naquele momento. Isto melhora dramaticamente a eficiência de aprendizado: 5–6 vezes menos exemplos são necessários para alcançar qualidade comparável.

Recompensas de privacidade treinadas. Um modelo avaliador separado penaliza o agente por consultas que criam vulnerabilidades de mosaico — aquelas que revelam intenção ou permitem inferência de fatos privados. Os critérios de privacidade também são aprendidos a partir dos dados, não codificados manualmente.

O resultado da combinação de ambos os mecanismos:

• Sucesso da cadeia de tarefas — 58,7% (sem perda significativa)
• Frequência de vazamentos — 9,9% (menor que os 34,0% do agente não treinado de linha de base)

O Que Isto Significa

O trabalho identifica uma limitação fundamental: agentes de pesquisa profunda corporativos são inseguros por padrão. Executar um agente em dados internos com acesso à internet cria um canal de vazamento que os usuários podem não suspeitar. PA-DR mostra que o problema é tecnicamente solucionável sem sacrificar qualidade — mas isso requer escolhas de design conscientes durante o treinamento, não contando com a esperança de que um "bom agente se resolverá."