ServiceNow: un agente de IA filtra secretos corporativos a través de una cadena de búsquedas

Investigadores de ServiceNow han publicado en Hugging Face MosaicLeaks, el primer análisis sistemático de cómo los agentes de IA para búsqueda profunda pueden revelar sin querer datos corporativos confidenciales. El culpable no es un ataque ni un error de código, sino la propia naturaleza de las consultas de búsqueda.

El efecto mosaico: lo inofensivo se suma hasta formar un secreto

El nombre del trabajo alude al «efecto mosaico» de la teoría de inteligencia: los hechos públicos aislados son seguros por separado, pero juntos componen un cuadro completo. Un agente de IA que trabaja con documentos corporativos lanza una serie de consultas a un buscador. Cada una parece inocente. Sin embargo, un observador externo que vea toda la secuencia puede reconstruir información confidencial: plazos de migración de infraestructura, detalles de incidentes de seguridad, proyectos internos.

Los investigadores formalizaron tres tipos de filtración:

• Intent leakage: por las consultas se sabe qué está investigando exactamente el agente
• Answer leakage: a partir de las consultas se pueden deducir respuestas a preguntas cerradas
• Full-information leakage: el observador encuentra por sí mismo hechos privados sin saber qué buscar

La paradoja: más preciso es más peligroso

La conclusión más contraintuitiva: el entrenamiento estándar de un agente para maximizar la precisión de búsqueda lo vuelve más peligroso en términos de privacidad. El agente base sin entrenar resolvía las tareas con éxito en el 48,7% de los casos. Tras entrenarlo solo con la métrica de la tarea, el éxito subió al 59,3%. Pero la tasa de filtraciones también aumentó, del 34,0% al 51,7%.

El mecanismo es sencillo: para encontrar el documento adecuado, el agente formula consultas más precisas e informativas. Eso ayuda al buscador y, a la vez, revela más a un observador externo.

«Las consultas más informativas ayudan al agente a encontrar los

documentos necesarios, pero al mismo tiempo revelan al observador más contexto sobre lo que se busca».

PA-DR: entrenamiento con doble recompensa

ServiceNow propone la arquitectura Privacy-Aware Deep Research (PA-DR), un sistema en el que el agente se optimiza para dos objetivos a la vez.

Recompensas situacionales. En el aprendizaje por refuerzo estándar, el agente solo recibe recompensa por la respuesta final correcta. En PA-DR, cada paso intermedio se evalúa según lo que el agente sabía en ese momento. Esto mejora de forma drástica la capacidad de aprendizaje: se necesitan entre 5 y 6 veces menos ejemplos para alcanzar una calidad equivalente.

Recompensas de privacidad aprendidas. Un modelo evaluador independiente penaliza al agente por las consultas que crean una vulnerabilidad de mosaico, es decir, las que revelan la intención o permiten deducir hechos cerrados. Los criterios de privacidad también se aprenden de los datos, no se escriben a mano.

Resultado de combinar ambos mecanismos:

• Éxito en la cadena de tareas: 58,7% (sin pérdidas significativas)
• Tasa de filtraciones: 9,9% (por debajo del 34,0% del agente original sin entrenar)

Qué significa

El trabajo constata una limitación fundamental: los agentes corporativos de deep research son inseguros por defecto. Ejecutar un agente sobre datos internos con acceso a internet crea un canal de fuga que el usuario puede ni sospechar. PA-DR demuestra que el problema tiene solución técnica sin sacrificar calidad, pero exige una decisión consciente durante el entrenamiento, no confiar en que «un buen agente ya se las arreglará solo».