ServiceNow: AI-агент сливает корпоративные тайны через цепочку поисковых запросов

نشر باحثون من ServiceNow عمل MosaicLeaks على Hugging Face — أول تحليل منهجي لكيفية إمكانية وكلاء الذكاء الاصطناعي للبحث العميق الكشف بشكل غير مقصود عن بيانات الشركات السرية. المسؤول ليس اختراقًا أو خطأ في الكود، بل طبيعة الاستعلامات البحثية نفسها.

تأثير الفسيفساء: التفاصيل البريئة تتحد في السر

يشير عنوان العمل إلى "تأثير الفسيفساء" من نظرية المخابرات: الحقائق العامة الفردية آمنة بمعزل عن غيرها، لكنها معًا تشكل صورة كاملة. يقوم وكيل الذكاء الاصطناعي الذي يعمل مع المستندات الشركة بسلسلة من استعلامات البحث. يبدو كل منها بريئًا. لكن مراقبًا خارجيًا يرى السلسلة بأكملها يمكنه إعادة بناء المعلومات السرية — جداول زمنية للهجرة البنية التحتية، تفاصيل حوادث الأمان، المشاريع الداخلية. صاغ الباحثون ثلاثة أنواع من التسريبات:

• تسريب النية — الاستعلامات تكشف بالضبط ما يحقق فيه الوكيل
• تسريب الإجابة — الاستعلامات تسمح باستنتاج الإجابات على الأسئلة المغلقة
• تسريب المعلومات الكاملة — يجد المراقب الحقائق الخاصة بنفسه، دون معرفة ما البحث عنه

المفارقة: أكثر دقة = أكثر خطورة

الاستنتاج الأكثر عكس للبديهة: التدريب القياسي للوكيل على دقة البحث القصوى يجعله أكثر خطورة من منظور الخصوصية. حل الوكيل الأساسي غير المدرب المهام بنجاح في 48.7% من الحالات. بعد التدريب على مقاييس المهام فقط، تحسن النجاح إلى 59.3%. لكن تكرار التسريبات زاد — من 34.0% إلى 51.7%. الآلية بسيطة: لإيجاد المستند الصحيح، يصيغ الوكيل استعلامات أكثر دقة وإفادة. هذه الدقة نفسها تساعد محرك البحث — وتكشف سياقًا أكثر بكثير للمراقب الخارجي.

"الاستعلامات الأكثر إفادة تساعد الوكيل في العثور على المستندات

الصحيحة، لكنها تكشف أيضًا للمراقب سياقًا أكبر حول ما يتم البحث عنه."

PA-DR: التعلم بمكافأة مزدوجة

تقترح ServiceNow معمارية Privacy-Aware Deep Research (PA-DR) — نظام يتم فيه تحسين الوكيل على هدفين في نفس الوقت.

المكافآت السياقية. في التعلم المعزز القياسي، يتلقى الوكيل مكافأة فقط للإجابة الصحيحة النهائية. في PA-DR، يتم تقييم كل خطوة وسيطة بناءً على ما كان الوكيل يعرفه في تلك اللحظة. هذا يحسن كفاءة التعلم بشكل كبير: هناك حاجة إلى 5–6 مرات عدد أقل من الأمثلة لتحقيق جودة مماثلة.

مكافآت الخصوصية المدربة. نموذج مقيّم منفصل يعاقب الوكيل على الاستعلامات التي تخلق ثغرات فسيفساء — تلك التي تكشف النية أو تسمح باستنتاج الحقائق الخاصة. يتم أيضًا تعلم معايير الخصوصية من البيانات، وليس ترميزها يدويًا.

نتيجة الجمع بين الآليتين:

• نجاح سلسلة المهام — 58.7% (بدون خسارة كبيرة)
• تكرار التسريبات — 9.9% (أقل من 34.0% للوكيل الأساسي غير المدرب)

ما يعنيه هذا

يحدد العمل قيدًا أساسيًا: وكلاء البحث العميق للشركات غير آمنين بشكل افتراضي. تشغيل وكيل على بيانات داخلية مع إمكانية الوصول إلى الإنترنت ينشئ قناة تسريب قد لا يشكها المستخدمون. يوضح PA-DR أن المشكلة قابلة للحل تقنيًا دون التضحية بالجودة — لكن هذا يتطلب خيارات تصميم واعية أثناء التدريب، وليس الاعتماد على أمل أن "وكيلًا جيدًا سيتعامل مع الأمر بنفسه".