Yandex Cloud تشرح كيفية اعتماد وكلاء الذكاء الاصطناعي في أمن المعلومات دون حجب خاطئ أو أعطال

وصفت Yandex Cloud كيف يمكن لوكلاء الذكاء الاصطناعي أن يصبحوا مساعدين مفيدين لـ SOC، لكنها شددت على أنه لا ينبغي منحهم صلاحية تنفيذ إجراءات حرجة من دون رقابة بشرية. وفي تحليل نُشر على موقع «هابر» (Habr)، عرض الفريق سيناريوهين: في الأول يوفّر الوكيل على المحلل عشرات الدقائق، وفي الثاني يعزل وحدة التحكم بالنطاق (Domain Controller) خطأً فيوقف عمل الشركة.

لماذا يعاني SOC من الحمل الزائد

يعمل SOC الحديث في ظل ضجيج دائم: فقد يصل نصيب المحلل الواحد إلى 1000 تنبيه يوميًا، وتتبين نسبة تصل إلى 95% منها أنها إيجابيات كاذبة. وفي هذا السياق تبدو فكرة إسناد الفرز الأولي والربط بين الأحداث إلى الذكاء الاصطناعي شبه حتمية. فالوكيل قادر على تحليل السجلات بسرعة، وفك ترميز الأوامر، واستحضار السياق من SIEM، ومطابقة الأحداث مع MITRE ATT&CK. وما يستغرق من الإنسان عشرات الدقائق من العمل المركّز، يمكن للنموذج أن يقدّم له مسودة إجابة عنه خلال ثوانٍ.

غير أن Yandex Cloud تحذّر من أن إمكانات الأتمتة أعلى من الموثوقية الفعلية لهذه الأنظمة. ويستند كاتب المقال إلى دراسة أجرتها Anthropic في مارس، تبلغ فيها الأتمتة النظرية للمهام في مهن علوم الحاسوب والرياضيات 94%، بينما لا تتجاوز الأتمتة الملحوظة فعليًا نحو 33%. وتُبرز هذه الفجوة أمرًا أساسيًا: الذكاء الاصطناعي مفيد بالفعل، لكن لا يمكن عدّه موظفًا مستقلًا ناضجًا. ويصدق ذلك خصوصًا على أمن المعلومات، حيث قد يكلّف الخطأ في تفسير حدث ما أكثر من مجرد تنبيه كاذب، إذ قد يؤدي إلى توقف خدمات رئيسية.

أين يخطئ الوكيل

يدور المثال الرئيسي في المقال حول تنبيه على وحدة التحكم بالنطاق DC01. في السيناريو الآمن، يتلقى الوكيل إشارة عن تشغيل مشبوه لـ PowerShell، ويفك ترميز أمر Base64، ويدرك أن الأمر يتعلق بتعداد أعضاء مجموعة Domain Admins، ويربط ذلك بتقنية استطلاع الصلاحيات. بعد ذلك يتحقق من السياسات الداخلية، ويلاحظ أن DC01 ينتمي إلى المستوى Tier-0، ويجمع أحداثًا إضافية ضمن نافذة زمنية ضيقة فقط، ثم يعدّ تقريرًا لمحلل SOC مع تأكيد HITL إلزامي، بدلًا من تنفيذ إجراء تلقائي.

أما في السيناريو السيئ، فلا يقع الخلل عند المدخلات بل في الاستدلال. يربط الوكيل الأحداث ببعضها بطريقة فجّة، بحسب الوقت والعقدة لا بحسب معرّفات الجلسة وسلسلة العمليات. ونتيجة لذلك يربط استعلام DNS غير ذي صلة بنشاط PowerShell، ويفسّر الصورة على أنها C2 أو تسريب بيانات (exfiltration)، ويقرر عزل DC01. وبالنسبة لوحدة التحكم بالنطاق، هذه كارثة: يتعطل Kerberos وLDAP، وتتوقف الخدمات المرتبطة بهما، وتتكبد الشركة توقفًا عن العمل بسبب استنتاج خاطئ من النموذج.

«علينا أن نتقبل أن النماذج تهلوس وقد تخطئ»، يكتب سيرغي نستيروك.

ما الحواجز المطلوبة

الفكرة الرئيسية في المقال أن المطلوب ليس محاربة إمكانية حدوث الهلوسة نفسها، بل محاربة عواقب الخطأ. فالنموذج اللغوي الكبير (LLM) لا يتعامل مع الحقيقة كما يفعل المحلل، وفي ظروف عدم اليقين يميل إلى التخمين أكثر من أن يقول بصدق «لا أعرف». لذلك فإن وكيل الذكاء الاصطناعي الموثوق في أمن المعلومات ليس نموذجًا واحدًا، بل مجموعة قيود خارجية تحيط به: فحص المدخلات، والتحكم بالذاكرة، وصلاحيات صارمة على الأدوات، والتدقيق، وطبقة موافقة بشرية حيث يكون ثمن الخطأ مرتفعًا للغاية.

• تصفية البيانات المُدخلة والحماية من prompt injection
• RAG مع قاعدة معرفة محدّثة، وRBAC، وإعادة ترتيب النتائج (reranking)، والتحقق من التعارضات
• reasoning firewall: مشرف (supervisor)، وتجزئة المهام، وتحقق متقاطع، وتقييم درجة الثقة
• تقييد الإجراءات على Tier-0، وسياسة abstain، وhuman-in-the-loop إلزامي

وتنصح Yandex Cloud بتطبيق هذه الأنظمة على مراحل. وكمرجع عملي يستخدم الفريق AI-SAFE، وهو إطار لنمذجة التهديدات للأنظمة الوكيلية (agentic) من خمسة مستويات: مدخلات المستخدم، وتنسيق السياق، واستدلال النموذج، والأدوات، وقواعد المعرفة. تبدأ المرحلة الأولى بمساعد يبحث عن البيانات ويجمع السياق ويخفف العبء المعرفي عن الفريق. ثم تأتي أتمتة جزئية بتأكيد من الإنسان. ولا يجوز منح الوكيل صلاحيات أوسع إلا بعد تراكم السجلات ومقاييس الجودة، ووضوح سيناريوهات الإخفاق، واستقرار العمل.

ماذا يعني ذلك

يتجه السوق نحو أن يصبح الذكاء الاصطناعي في SOC أمرًا معتادًا، لكن الفائزين لن يكونوا من يدمج الوكيل أولًا في بيئة الإنتاج، بل من يحيطه بـ guardrails ويُبقي للإنسان حق القرار النهائي في النقاط الحرجة. وهذا مرجع جيد للشركات: أتمتة الأعمال الروتينية ممكنة اليوم، أما أتمتة الثقة فلا تزال غير ممكنة.