أوضحت Yandex Cloud كيفية نشر وكلاء AI في أمن المعلومات من دون عمليات حظر خاطئة أو أعطال

وصفت Yandex Cloud كيف يمكن لعوامل الذكاء الاصطناعي أن تصبح مساعدين مفيدين لمركز العمليات الأمنية (SOC)، لكنها لا يجب أن تتمتع بحق تنفيذ الإجراءات الحرجة دون إشراف بشري. في تحليل نشر على Habr، عرض الفريق سيناريوهين: في أحدهما، يوفر العامل عشرات الدقائق للمحلل، وفي الآخر — يعزل متحكم المجال بالخطأ ويوقف عمليات الشركة.

لماذا مركز العمليات الأمنية مثقل بالعمل

يعيش مركز العمليات الأمنية الحديث في وضع الضجيج المستمر: قد يتلقى المحلل الواحد ما يصل إلى 1000 تنبيه في اليوم، وحتى 95٪ منها تبين أنها إيجابيات كاذبة. في هذا السياق، تبدو فكرة تسليم الفرز الأولي والارتباط للذكاء الاصطناعي حتمية تقريباً. يستطيع العامل تحليل السجلات بسرعة وفك رموز الأوامر وجذب السياق من SIEM وربط الأحداث بإطار عمل MITRE ATT&CK.

حيث يقضي الشخص عشرات الدقائق من العمل المركز، يمكن للنموذج تقديم إجابة أولية في ثوانٍ. لكن Yandex Cloud تحذر: إمكانية الأتمتة أعلى من الموثوقية الفعلية لمثل هذه الأنظمة. يستشهد المؤلف بدراسة Anthropic من آذار/مارس 2024 حيث أن الأتمتة النظرية للمهام في مجالات علوم الحاسوب والرياضيات تصل إلى 94٪، لكن المعدل الملاحظ هو حوالي 33٪ فقط.

يوضح هذا الفجوة النقطة الرئيسية: الذكاء الاصطناعي مفيد بالفعل، لكن لا يمكن اعتباره موظفاً مستقلاً ناضجاً. خاصة في الأمن السيبراني، حيث قد يكلف الخطأ في تفسير حدث ما أكثر من مجرد إنذار كاذب - قد يؤدي إلى إيقاف الخدمات الحرجة.

حيث يخطئ العامل

المثال الأساسي في المقالة يدور حول تنبيه على متحكم المجال DC01. في السيناريو الآمن، يستقبل العامل إشارة بشأن تنفيذ PowerShell مريب، ويفك تشفير أمر Base64، ويفهم أنه يتعلق بتعداد أعضاء Domain Admins، ويربطه بتقنية استطلاع الامتيازات. ثم يتحقق من السياسات الداخلية، ويلاحظ أن DC01 مصنف كـ Tier-0، ويجمع أحداثاً إضافية فقط ضمن نطاق زمني ضيق، وبدلاً من اتخاذ إجراء تلقائي، يُنشئ تقريراً لمحلل SOC مع تأكيد إلزامي من البشر.

في السيناريو السيء، ينهار كل شيء ليس في الإدخال، بل في المنطق. يرتبط العامل الأحداث بشكل غير دقيق جداً - حسب الوقت والعقدة، بدلاً من معرّفات الجلسة وسلسلة العمليات. لذلك يربط استعلام DNS غير ذي صلة بنشاط PowerShell، ويفسر الصورة على أنها C2 أو تسرب، ويقرر عزل DC01. بالنسبة لمتحكم المجال، هذه كارثة: ينهار Kerberos و LDAP، تتوقف الخدمات ذات الصلة، وتعاني الشركة من توقف بسبب الاستنتاج الخاطئ للنموذج.

"عليك أن تقبل أن النماذج تهلوس ويمكن أن تخطئ"، كما يكتب

Sergey Nesteruk.

ما الحواجز المطلوبة

النقطة الأساسية في المقالة هي أن الحرب يجب أن تكون ليس ضد إمكانية الهلوسة نفسها، بل ضد عواقب الخطأ. نماذج اللغة الكبيرة لا تعمل مع الحقيقة بالطريقة التي يعمل بها المحلل، وفي ظروف عدم اليقين، غالباً ما تحاول التخمين بدلاً من قول "لا أعرف" بصراحة. لذلك، فإن عامل الذكاء الاصطناعي الموثوق به في الأمن السيبراني ليس نموذجاً واحداً، بل مجموعة من القيود الخارجية حوله: التحقق من صحة الإدخال، التحكم في الذاكرة، أذونات الأدوات الصارمة، التدقيق، وطبقة موافقة بشرية حيث تكون تكلفة الخطأ مرتفعة جداً.

• تصفية البيانات الواردة والحماية من حقن المطالبات
• استرجاع الأدلة المعزز مع قاعدة معرفية محدثة، والتحكم بالوصول على أساس الأدوار، وإعادة الترتيب والتحقق من التعارضات
• جدران حماية المنطق: المشرف والتحليل، وتحلل المهام والتحقق المتقاطع وتقييم الثقة
• تقييد الإجراءات على Tier-0، وسياسة الامتناع والموافقة البشرية الإلزامية

توصي Yandex Cloud بتطبيق مثل هذه الأنظمة على مراحل. كمرشد عملي، يستخدم الفريق AI-SAFE - إطار عمل لنمذجة التهديدات لأنظمة العوامل مع خمسة مستويات: إدخال المستخدم وتنسيق السياق ومنطق النموذج والأدوات وقواعد المعرفة. أولاً - مساعد يبحث عن البيانات ويجمع السياق ويقلل الحمل المعرفي على الفريق. ثم - أتمتة جزئية مع موافقة بشرية. وفقط بعد تراكم السجلات والمقاييس النوعية والسيناريوهات الفاشلة الواضحة والعملية المستقرة يمكن للعامل أن يحصل على صلاحيات أوسع.

ماذا يعني هذا

السوق يتجه نحو أن يصبح الذكاء الاصطناعي في مراكز العمليات الأمنية معياراً، لكن الفائزين لن يكونوا أولئك الذين يفعلون تفعيل العامل في الإنتاج أولاً، بل من يحيطونه بحواجز حماية ويتركون للبشر حق اتخاذ القرار النهائي في النقاط الحرجة. بالنسبة للشركات، هذا مرشد جيد: يمكنك بالفعل أتمتة العمل الروتيني، لكن أتمتة الثقة - ليس بعد.