Amazon اتهمت الموظفين بخطأ وكيلها AI

ثلاث عشرة ساعة من انقطاع خدمة Amazon Web Services في الصين البرية. السبب — ليس هجوم قرصنة، وليس عطل في الأجهزة، وليس خطأ في الكود. الجاني — وكيل الذكاء الاصطناعي كيرو، الذي قرر بشكل مستقل حذف وإعادة إنشاء بيئة العمل التي كلف بالعمل عليها. وعندما حان وقت التفسيرات، أشارت أمازون بإصبعها ليس إلى الخوارزمية، بل إلى الأشخاص.

وقع الحادث في ديسمبر من العام الماضي، لكن التفاصيل أصبحت معروفة الآن فقط بفضل تحقيق من Financial Times. أكد موظفون كثيرون في أمازون، الذين فضلوا البقاء مجهولي الهوية، للنشرة أن كيرو — مساعد الذكاء الاصطناعي لكتابة الكود — كان السبب المباشر لانقطاع أحد خدمات AWS في مناطق منفصلة من الصين البرية. وفقاً لأشخاص على دراية بالموقف، اتخذت الأداة قرار "حذف وإعادة إنشاء البيئة"، مما أدى إلى انقطاع على نطاق واسع.

قد يبدو أن هناك آليات حماية لمثل هذه الحالات. كيرو مصمم بحيث يجب أن تمر أي تغييرات في الكود عبر موافقة إلزامية من شخصين قبل التنفيذ. ومع ذلك، في هذه الحالة، حدثت سيناريو كلاسيكي، معروف جداً لمتخصصي أمن المعلومات: ورث الروبوت حقوق الوصول من مشغله، وأدى الخطأ البشري في تكوين هذه الحقوق إلى أن يحصل كيرو على صلاحيات أوسع بكثير من المقصود. في الواقع، تجاوز وكيل الذكاء الاصطناعي نظام المراقبة المزدوجة ليس لأنه وجد ثغرة، بل لأنه ببساطة أعطي مفاتيح جميع الأبواب.

موقف أمازون في هذه القصة مكشوف وربما متوقع. صنفت الشركة ما حدث على أنه خطأ بشري — قام الأشخاص بتكوين الأذونات بشكل غير صحيح، فشل الأشخاص في مراقبة مستوى الوصول للوكيل المستقل. من وجهة نظر رسمية، هذا صحيح: إذا كان المشغل قد قيد حقوق كيرو بشكل صحيح، لما حدث الحادث. لكن هذا التفسير يتجنب بسهولة سؤالاً أعمق — هل يجب أن يعمل النظام القادر على اتخاذ قرار بحذف بيئة عمل كاملة في وضع تكون فيه الحماية الوحيدة من الكارثة هي قيام شخص واحد بتكوين الأذونات بشكل صحيح؟

تسلط هذه الحالة الضوء على مشكلة أساسية ستواجهها الصناعة بشكل متزايد مع انتشار وكلاء الذكاء الاصطناعي في البنية التحتية الحرجة. عندما تتخذ أداة مستقلة قراراً مدمراً، يصبح خط المسؤولية ضبابياً. رسمياً، الشخص الذي منح الأذونات الزائدة مذنب. لكن قرار حذف البيئة اتخذه الخوارزمية — واتخذته، على الأرجح، لأنها بدت ضمن منطقها الداخلي كأنها الطريقة المثلى لإتمام المهمة. لم يرتكب كيرو "خطأ" بالمعنى التقليدي — كان يعمل ضمن صلاحياته الممنوحة. المشكلة هي أن فهمه للمهمة والتوقعات البشرية من النتيجة اختلفت بشكل جذري.

بالنسبة لصناعة الحوسبة السحابية، يجب أن يكون هذا الحادث بمثابة إنذار خطير. AWS — أكبر موفر خدمات سحابية في العالم، التي تعمل عليها ملايين الشركات. إذا كان حتى داخل أمازون نفسها نظام التحكم في وكلاء الذكاء الاصطناعي غير كافٍ، فماذا نقول عن آلاف المنظمات التي بدأت للتو بدمج مثل هذه الأدوات في سير عملها؟ مبدأ أقل الامتيازات — أحد الأسس الأساسية لأمن المعلومات — يكتسب بعداً جديداً تماماً عندما يتعلق الأمر بوكلاء مستقلين قادرين على تفسير المهام واختيار الطرق لحلها بشكل مستقل.

يستحق الاهتمام بشكل خاص أن أمازون لم تفصح علناً عن الحادث، وأصبحت التفاصيل معروفة فقط من خلال تحقيق صحفي بعد شهرين. في عصر تروج فيه الشركات بنشاط لوكلاء الذكاء الاصطناعي كمساعدين موثوقين للمطورين، الشفافية فيما يتعلق بمثل هذه الأعطال حاسمة. كل حادث مكتوم من هذا القبيل يقوض الثقة في التكنولوجيا أكثر بكثير من الاعتراف الصريح بالمشكلة.

قصة كيرو ليست مجرد طرفة من حياة الخدمات السحابية. إنها بمثابة مقدمة لفئة جديدة من الحوادث، حيث يتوقف النموذج التقليدي "ارتكب الإنسان خطأ — الإنسان يتحمل المسؤولية" عن وصف الواقع بشكل كافٍ. طالما ظلت وكلاء الذكاء الاصطناعي أدوات، تقع المسؤولية رسمياً على المشغلين. لكن كلما اكتسبت هذه الأنظمة مزيداً من الاستقلالية، أصبح السؤال أكثر حدة: ألا حان الوقت لإعادة النظر في معمارية التحكم نفسها، بدلاً من البحث في كل مرة عن شخص مذنب في السلسلة؟