ISACA: معظم الشركات غير مستعدة لإيقاف نظام AI بسرعة عند وقوع حادث

تقوم الشركات بدمج الذكاء الاصطناعي بنشاط في العمليات الرئيسية، لكن في كثير من الحالات لا تفهم كيفية إيقاف مثل هذا النظام بسرعة في حالة الفشل أو الهجوم أو السلوك الخاطئ. تُظهر دراسة جديدة من ISACA أن المشكلة لم تعد تتعلق بتجربة التكنولوجيا، بل بغياب السيطرة الإدارية الأساسية.

حيث تنهار السيطرة

وفقاً لـ ISACA، لم يتمكن 59% من متخصصي الثقة الرقمية المستطلعين في أوروبا من القول بكيفية قدرة منظمتهم على إيقاف نظام الذكاء الاصطناعي أثناء حادث أمني. فقط 21% واثقون من أنهم يستطيعون التدخل في غضون نصف ساعة. في الممارسة العملية، هذا يعني سيناريو غير سار: إذا بدأ نموذج أو عامل أو عملية ذكاء اصطناعي آلي في اتخاذ قرارات خاطئة، أو انجرف نحو إجراءات خاطئة، أو تعرض للاختراق، فيمكنه أن يستمر في العمل لفترة طويلة جداً — حتى بعد أن يصبح الخطر واضحاً.

المشكلة ملحوظة بشكل خاص الآن، عندما يكون الذكاء الاصطناعي بشكل متزايد ليس في صندوق الرمل، بل داخل العمليات التجارية الحقيقية: دعم العملاء، والموافقات الداخلية، وتحليل البيانات، والامتثال، وأتمتة القرارات. في مثل هذه الأنظمة، حتى نصف ساعة بدون سيطرة ليست تأخيراً مجرداً، بل وقت يمكن خلاله إفساد البيانات، أو تعطيل عملية، أو إرسال إجابات غير صحيحة للعملاء، أو إنشاء مشاكل تنظيمية سيستغرق حلها أسابيع لاحقاً.

الفجوات في التحقيق

إيقاف النظام هو فقط نصف المهمة. الأهم هو فهم ما حدث بالضبط، ولماذا حدث، وكيفية شرح العواقب للإدارة أو للجهة التنظيمية. لكن الصورة هنا ضعيفة أيضاً: قال 42% فقط من المستجيبين إنهم واثقون إلى حد ما من قدرة منظمتهم على التحقيق في حادث ذكاء اصطناعي خطير وشرحه بوضوح. في ضوء متطلبات مثل قانون الذكاء الاصطناعي للاتحاد الأوروبي الذي بدأ نفاذه، يبدو هذا بالفعل ليس كقصور تشغيلي، بل كخطر للامتثال. تسلط الدراسة الضوء بشكل محدد على عدة فجوات ملحوظة:

• 59% لا يعرفون كيفية إيقاف نظام الذكاء الاصطناعي بسرعة أثناء حادث
• فقط 42% واثقون من أنهم يستطيعون التحقيق وشرح فشل خطير
• 33% من الشركات لا تطلب من الموظفين الإفصاح عن أماكن استخدام الذكاء الاصطناعي في المستندات
• 20% من المستجيبين لا يعرفون حتى من سيكون مسؤولاً إذا تسبب الذكاء الاصطناعي في ضرر
• فقط 38% يرون أن المسؤولية النهائية تقع على عاتق مجلس الإدارة أو الإدارة العليا

في غضون ذلك، المشاركة الرسمية للبشر لا تحل المشكلة بحد ذاتها. يقول حوالي 40% من المستجيبين إن الأشخاص يوافقون على ما يقرب من جميع إجراءات الذكاء الاصطناعي قبل تنفيذها، و 26% آخرون يتحققون من النتائج بعد الحقيقة. لكن إذا لم تكن لدى الشركة مخطط تصعيد مناسب، وسجلات الإجراءات، وقواعد إيقاف واضحة، ومراجعة الاستخدام، فإن السيطرة البشرية تبقى جزءاً من العملية، وليس نظام دفاع كامل يخفف فعلاً من الضرر.

من المسؤول

من أكثر الاستنتاجات غير السارة هي المسؤولية الغامضة. عندما لا يكون واضحاً في الشركة من بالضبط يمكنه الضغط على زر الإيقاف، ومن يجري التحقيق، ومن يتواصل مع الجهة التنظيمية، ومن يقرر إعادة النظام إلى العمل، يبدأ أي حادث في النمو ليس فقط بسبب الخطأ نفسه، بل أيضاً بسبب التأخيرات التنظيمية. تُظهر الدراسة أن العديد من الشركات لا تزال تعتبر خطر الذكاء الاصطناعي مشكلة لفريق تكنولوجيا المعلومات أو الأمان، بينما في الواقع هو مسألة إدارة على مستوى المنظمة بأكملها.

"الفجوة بين التنفيذ والإدارة لا تنكمش — فهي تتسع."

تصف هذه الأطروحة بشكل جيد الحالة الحالية للسوق. يؤثر الذكاء الاصطناعي بالفعل على القرارات والمستندات والاتصالات مع العملاء والعمليات الداخلية، لكن القواعد الخاصة بملكية النظام والإفصاح الإلزامي عن استخدامه والتدخل اليدوي الفوري غالباً ما تظهر لاحقاً. يوصي الخبراء بمعاملة مثل هذه الأنظمة كموظفين رقميين: مع مالك معين، وعتبات للمخاطر، والحق في الإيقاف الفوري، ومسار تصعيد واضح إذا حدث شيء خاطئ.

ماذا يعني هذا

الاستنتاج الرئيسي بسيط: لا يمكن للشركات أن تقتصر على نشر الذكاء الاصطناعي وتعيين شخص "في الأعلى". تحتاج إلى سيناريوهات مخطط لها مسبقاً للإيقاف والتحقيق وتعيين المسؤولية والإفصاح عن استخدام الذكاء الاصطناعي في العمليات. أولئك الذين سيبنون هذا الآن لن يكون لديهم فقط مخاطر أقل، بل أيضاً القدرة على توسيع الذكاء الاصطناعي دون خوف مستمر من الخطأ التالي أو الفحص التنظيمي أو انقطاع الخدمة والخسائر في السمعة في العمليات الحرجة للعمل.