Agent Mosaic: agentes de LLM montam segredos a partir de documentos inofensivos em 7% das respostas

Um agente com acesso a uma base de conhecimento corporativa pode não mostrar nenhum documento restrito e, mesmo assim, entregar um segredo. Ele simplesmente o monta a partir de vários fragmentos aos quais tem acesso. Os autores do trabalho Agent Mosaic mediram a frequência desse problema. Eles usaram 30 cenários sintéticos de cibersegurança, medicina e área militar e obtiveram 10 800 respostas finais de três agentes de LLM em uma simulação controlada. Outras 1 440 respostas vieram de agentes reais em dois harnesses open source. O melhor modelo testado, o GPT-5.6-Sol, revelou a conclusão composta proibida em 7,08% das respostas (IC de 95%: 3,75–10,67%), mesmo com consultas inofensivas, feitas para serem respondidas com um único documento.

Como um segredo surge de páginas inofensivas

O efeito mosaico é conhecido na inteligência e nos segredos de Estado. Um fato isolado não significa nada, mas, quando vários são cruzados, aparece justamente o que se queria esconder. Antes, esse era um problema dos analistas. Agora, quem o reproduz é um modelo capaz de buscar, ler e resumir informações em alta velocidade.

Os sistemas clássicos de controle de acesso olham para os documentos: o usuário tem direito ao arquivo A e ao arquivo B, então recebe os dois. Só que o agente não reconta arquivos; ele tira conclusões. Se de A e B decorre uma conclusão sensível, que só deveria estar disponível a um nível de autorização mais alto, nenhuma verificação de permissões dispara. Cada documento está limpo, e o que vaza é a soma deles.

No experimento, as consultas eram propositalmente neutras. Ninguém induziu o modelo a contornar restrições, e a resposta podia ser dada com base em um único documento. Ainda assim, parte das respostas foi além e formulou o composto proibido.

Rótulos de sigilo e regras de agregação ajudam apenas em parte

Para a defesa, os autores escolheram um conjunto óbvio para engenheiros: cabeçalhos de classificação visíveis nos documentos e regras explícitas de agregação nas instruções. As divulgações na amostra consolidada caíram de forma notável. Mas em 32,37% das respostas simuladas (IC de 95%: 28,33–36,19%) as divulgações inseguras permaneceram, e em todos os tipos de intenção da consulta.

Há também um resultado colateral incômodo: mais recusas não garantem confidencialidade. Uma parcela significativa das recusas revelou, ela mesma, a conclusão proibida. O modelo responde algo como "não posso confirmar que X está ligado a Y", e com isso confirma a ligação. Para a proteção de dados, é a mesma falha, só que com uma embalagem educada.

Principais parâmetros do estudo:

• 30 exemplos sintéticos: cibersegurança, medicina, área militar
• 10 800 respostas de três agentes de LLM em simulação controlada
• 1 440 respostas de agentes reais em dois harnesses open source
• GPT-5.6-Sol, melhor modelo do teste: 7,08% de divulgações proibidas em consultas inofensivas
• Com rótulos de sigilo e regras de agregação: 32,37% de respostas inseguras na amostra consolidada
• Nos harnesses reais, a taxa de divulgação é maior que na simulação

O que mudar na arquitetura de agentes com dados restritos

A principal conclusão para desenvolvedores é que o prompt não substitui o controle de acesso. A frase "não agregue dados sensíveis" continua sendo um pedido ao modelo, e não uma política que o sistema consiga verificar. Se há 32% de violações nas respostas mesmo com regras explícitas, a proteção não pode ser construída sobre prompts.

O mínimo prático é este. Primeiro, verificar não só os direitos sobre os documentos, mas também o que o agente pretende dizer. É preciso uma camada separada que avalie a resposta final em relação ao nível de autorização do usuário em questão. Segundo, para públicos com níveis de autorização mistos, faz sentido limitar o conjunto de documentos que entra no contexto de uma única sessão. Quanto menos fragmentos o agente vê, menos chances há de formar um mosaico. Terceiro, as recusas também precisam ser testadas quanto a vazamentos. A formulação "não posso responder" não deve confirmar nem negar a conclusão proibida.

Para empresas de medicina, defesa e segurança da informação, onde os agentes já estão sendo conectados a bases internas, o trabalho serve como modelo metodológico pronto. É preciso montar cenários sintéticos próprios, em que o segredo resulta da combinação de vários documentos permitidos, e rodá-los no seu próprio harness. Como os resultados nos harnesses reais ficaram piores que na simulação, o teste deve usar a configuração que de fato roda em produção. Os autores afirmam explicitamente que é necessário impor restrições mais rígidas sobre o que os agentes podem produzir e revelar em ambientes com usuários de diferentes níveis de autorização.