ServiceNow: وكيل ذكاء اصطناعي يسرّب أسرار الشركات عبر سلسلة من استعلامات البحث

نشر باحثو ServiceNow على Hugging Face دراسة MosaicLeaks، وهي أول تحليل منهجي لكيفية كشف وكلاء الذكاء الاصطناعي المخصصين للبحث العميق عن بيانات الشركات السرية دون قصد. والسبب ليس اختراقًا ولا خطأً في الشيفرة البرمجية، بل طبيعة استعلامات البحث نفسها.

أثر الفسيفساء: المعلومات البريئة تتجمع لتشكّل سرًّا

يشير عنوان الدراسة إلى «أثر الفسيفساء» المعروف في نظرية الاستخبارات: فالحقائق العلنية المتفرقة آمنة كلٌّ على حدة، لكنها تشكّل معًا صورة كاملة. يُجري وكيل الذكاء الاصطناعي الذي يعمل مع مستندات الشركة سلسلة من الاستعلامات إلى محرك البحث، ويبدو كل استعلام منها بريئًا. غير أن مراقبًا خارجيًا يرى التسلسل كاملًا يستطيع إعادة بناء معلومات سرية، مثل مواعيد ترحيل البنية التحتية وتفاصيل حوادث أمنية ومشاريع داخلية.

وقد صاغ الباحثون ثلاثة أنواع من التسريب:

• Intent leakage (تسريب النية): تكشف الاستعلامات ما الذي يحقق فيه الوكيل بالتحديد
• Answer leakage (تسريب الإجابة): يمكن استنتاج إجابات أسئلة مغلقة من الاستعلامات
• Full-information leakage (تسريب المعلومات الكاملة): يعثر المراقب بنفسه على وقائع خاصة دون أن يعرف عمّا يبحث

المفارقة: كلما زادت الدقة زادت الخطورة

أكثر الاستنتاجات مخالفةً للبديهة أن التدريب القياسي للوكيل على أقصى دقة بحث يجعله أكثر خطورة من ناحية الخصوصية. فقد حلّ الوكيل الأساسي غير المدرَّب المهام بنجاح في 48,7% من الحالات. وبعد التدريب على مقياس المهمة وحده، ارتفعت نسبة النجاح إلى 59,3%. لكن معدل التسريبات ارتفع في الوقت نفسه من 34,0% إلى 51,7%.

والآلية بسيطة: للعثور على المستند المطلوب، يصوغ الوكيل استعلامات أدق وأكثر إفادة. وهذا بالضبط ما يساعد محرك البحث، وهو أيضًا ما يكشف للمراقب الخارجي قدرًا أكبر.

«تساعد الاستعلامات الأكثر إفادة الوكيل على العثور على المستندات

المطلوبة، لكنها تكشف في الوقت نفسه للمراقب سياقًا أوسع عمّا يجري البحث عنه».

PA-DR: تدريب بمكافأة مزدوجة

تقترح ServiceNow بنية Privacy-Aware Deep Research (PA-DR)، وهي نظام يُحسَّن فيه الوكيل وفق هدفين في آنٍ واحد.

المكافآت الظرفية. في التعلم المعزز (RL) القياسي، لا يحصل الوكيل على مكافأة إلا عن الإجابة النهائية الصحيحة. أما في PA-DR فيُقيَّم كل خطوة وسيطة بحسب ما كان الوكيل يعرفه في تلك اللحظة. وهذا يرفع قابلية التعلم بشكل حاد: إذ يلزم عدد أمثلة أقل بمقدار 5–6 مرات للوصول إلى جودة مماثلة.

مكافآت الخصوصية المُتعلَّمة. يعاقب نموذج مقيِّم منفصل الوكيل على الاستعلامات التي تخلق ثغرة فسيفسائية، أي تلك التي تكشف النية أو تتيح استنتاج وقائع مغلقة. ومعايير الخصوصية نفسها تُتعلَّم من البيانات ولا تُكتب يدويًا.

نتيجة الجمع بين الآليتين:

• نسبة النجاح في سلسلة المهام: 58,7% (دون خسائر جوهرية)
• معدل التسريبات: 9,9% (أقل من معدل الوكيل الأصلي غير المدرَّب البالغ 34,0%)

ماذا يعني ذلك

تثبت الدراسة قيدًا جوهريًا: وكلاء البحث العميق في الشركات ليسوا آمنين افتراضيًا. فتشغيل وكيل على بيانات داخلية مع إتاحة الوصول إلى الإنترنت يخلق قناة تسريب قد لا يشعر بها المستخدم أصلًا. ويبيّن PA-DR أن المشكلة قابلة للحل تقنيًا دون التضحية بالجودة، لكن ذلك يتطلب قرارًا واعيًا أثناء التدريب، لا الاتكال على أن «الوكيل الجيد سيتدبّر الأمر بنفسه».