ServiceNow: AI-агент сливает корпоративные тайны через цепочку поисковых запросов

Investigadores de ServiceNow han publicado MosaicLeaks en Hugging Face — el primer análisis sistemático de cómo los agentes de IA para investigación profunda pueden exponer inadvertidamente datos corporativos confidenciales. El culpable no es un hackeo ni un error de código, sino la naturaleza misma de las consultas de búsqueda.

El Efecto Mosaico: Detalles Inocentes se Combinan en Secreto

El título del trabajo hace referencia al "efecto mosaico" de la teoría de inteligencia: hechos públicos individuales son seguros aisladamente, pero juntos forman un cuadro completo. Un agente de IA trabajando con documentos corporativos realiza una serie de consultas de búsqueda. Cada una parece inocente. Pero un observador externo que ve la secuencia completa puede reconstruir información confidencial — cronogramas de migración de infraestructura, detalles de incidentes de seguridad, proyectos internos. Los investigadores formalizaron tres tipos de filtraciones:

• Filtración de intención — las consultas revelan exactamente qué está investigando el agente
• Filtración de respuesta — las consultas permiten inferir respuestas a preguntas cerradas
• Filtración de información completa — el observador encuentra hechos privados por sí mismo, sin saber qué buscar

La Paradoja: Más Preciso = Más Peligroso

El hallazgo más contraintuitivo: el entrenamiento estándar de un agente para máxima precisión de búsqueda lo hace más peligroso desde una perspectiva de privacidad. Un agente básico sin entrenar resolvió tareas con éxito en el 48,7% de los casos. Después del entrenamiento únicamente en métricas de tareas, el éxito aumentó al 59,3%. Pero la frecuencia de filtraciones aumentó — de 34,0% a 51,7%. El mecanismo es simple: para encontrar el documento correcto, el agente formula consultas más precisas e informativas. Esta misma precisión ayuda al motor de búsqueda — y revela mucho más contexto al observador externo.

"Las consultas más informativas ayudan al agente a encontrar los

documentos correctos, pero también revelan más contexto al observador sobre qué se está buscando."

PA-DR: Aprendizaje con Recompensa Dual

ServiceNow propone la arquitectura Privacy-Aware Deep Research (PA-DR) — un sistema donde el agente se optimiza en dos objetivos simultáneamente.

Recompensas contextuales. En RL estándar, el agente recibe una recompensa solo por la respuesta final correcta. En PA-DR, cada paso intermedio se evalúa en función de lo que el agente sabía en ese momento. Esto mejora dramáticamente la eficiencia del aprendizaje: se necesitan 5–6 veces menos ejemplos para lograr calidad comparable.

Recompensas de privacidad entrenadas. Un modelo evaluador separado penaliza al agente por consultas que crean vulnerabilidades de mosaico — aquellas que revelan intención o permiten inferir hechos privados. Los criterios de privacidad también se aprenden a partir de datos, no se codifican manualmente.

El resultado de la combinación de ambos mecanismos:

• Éxito de la cadena de tareas — 58,7% (sin pérdida significativa)
• Frecuencia de filtraciones — 9,9% (inferior al 34,0% del agente sin entrenar de línea base)

Qué Significa Esto

El trabajo identifica una limitación fundamental: los agentes de investigación profunda corporativos son inseguros por defecto. Ejecutar un agente en datos internos con acceso a internet crea un canal de filtración que los usuarios pueden no sospechar. PA-DR demuestra que el problema es técnicamente solucionable sin sacrificar calidad — pero requiere decisiones de diseño conscientes durante el entrenamiento, no confiando en que un "buen agente se arreglará a sí mismo."