Agent Mosaic: los agentes LLM reconstruyen secretos a partir de documentos inocuos en el 7% de las respuestas

Un agente con acceso a una base de conocimiento corporativa puede no mostrar ni un solo documento restringido y, aun así, revelar un secreto. Simplemente lo reconstruye a partir de varios fragmentos accesibles. Los autores del trabajo Agent Mosaic midieron la frecuencia con la que ocurre. Tomaron 30 escenarios sintéticos de ciberseguridad, medicina y ámbito militar y obtuvieron 10 800 respuestas finales de tres agentes LLM en una simulación controlada. Otras 1 440 respuestas procedieron de agentes reales en dos harness open source. La mejor de las modelos evaluadas, GPT-5.6-Sol, reveló la conclusión compuesta prohibida en el 7,08% de las respuestas (IC 95%: 3,75–10,67%), incluso ante consultas inocuas pensadas para responderse con un solo documento.

Cómo un secreto surge de páginas inocuas

El efecto mosaico es conocido en el mundo de la inteligencia y los secretos de Estado. Un dato aislado no significa nada, pero al cruzar varios aflora lo que se pretendía ocultar. Antes era un problema de los analistas. Ahora lo reproduce un modelo capaz de buscar, leer y resumir con rapidez.

Los sistemas clásicos de control de acceso examinan los documentos: si un usuario tiene derecho al archivo A y al archivo B, recibe ambos. Pero el agente no se limita a reproducir archivos: extrae conclusiones. Si de A y B se deduce una conclusión sensible que solo debería estar al alcance de un nivel de autorización superior, ninguna comprobación de permisos se activa. Cada documento es limpio; lo que se filtra es su suma.

En el experimento, las consultas eran deliberadamente neutras. Nadie empujaba al modelo a saltarse restricciones y la respuesta podía darse con un único documento. Aun así, una parte de las respuestas iba más allá y formulaba el compuesto prohibido.

Las etiquetas de clasificación y las reglas de agregación ayudan solo en parte

Como defensa, los autores eligieron el conjunto más obvio para cualquier ingeniero: encabezados de clasificación visibles en los documentos y reglas explícitas de agregación en las instrucciones. Las revelaciones en la muestra conjunta se redujeron de forma notable. Pero en el 32,37% de las respuestas simuladas (IC 95%: 28,33–36,19%) siguieron produciéndose revelaciones inseguras, y en todos los tipos de intención de la consulta.

Hay además un hallazgo incómodo: que aumenten las negativas no garantiza la confidencialidad. Una parte significativa de las negativas revelaba por sí misma la conclusión prohibida. El modelo responde algo como «no puedo confirmar que X esté relacionado con Y», y con ello confirma el vínculo. Para la protección de datos es el mismo fallo, solo que presentado con educación.

Parámetros clave del estudio:

• 30 ejemplos sintéticos: ciberseguridad, medicina y ámbito militar
• 10 800 respuestas de tres agentes LLM en una simulación controlada
• 1 440 respuestas de agentes reales en dos harness open source
• GPT-5.6-Sol, la mejor modelo de la prueba: 7,08% de revelaciones prohibidas en consultas inocuas
• Con etiquetas de clasificación y reglas de agregación: 32,37% de respuestas inseguras en la muestra conjunta
• En los harness reales la proporción de revelaciones es mayor que en la simulación

Qué cambiar en la arquitectura de los agentes con datos cerrados

La conclusión principal para los desarrolladores es que el prompt no sustituye al control de acceso. La frase «no agregues datos sensibles» sigue siendo una petición al modelo, no una política que el sistema pueda verificar. Si hay un 32% de infracciones en las respuestas incluso con reglas explícitas, la protección no puede apoyarse en prompts.

El mínimo práctico es el siguiente. Primero, comprobar no solo los permisos sobre los documentos, sino también lo que el agente va a decir. Hace falta una capa independiente que evalúe la respuesta final en relación con el nivel de autorización de cada usuario. Segundo, en audiencias con niveles de autorización mixtos, conviene limitar el conjunto de documentos que entran en el contexto de una misma sesión. Cuantos menos fragmentos vea el agente, menos posibilidades hay de formar un mosaico. Tercero, las negativas también deben probarse para detectar fugas. La fórmula «no puedo responder» no debe confirmar ni desmentir una conclusión prohibida.

Para las empresas de medicina, defensa y seguridad de la información, donde ya se conectan agentes a bases de datos internas, el trabajo sirve como plantilla metodológica lista para usar. Hay que construir escenarios sintéticos propios, en los que el secreto surja de varios documentos permitidos, y ejecutarlos en el propio harness. En los harness reales los resultados fueron peores que en la simulación, por lo que conviene probar la configuración que realmente funciona en producción. Los autores señalan expresamente la necesidad de imponer límites más estrictos a lo que los agentes pueden deducir y revelar en entornos con usuarios de distintos niveles de autorización.