وكلاء الذكاء الاصطناعي: مساعد مريح أم باب مفتوح للقراصنة

لنكن صادقين: انتظرنا جميعاً اللحظة التي تتوقف فيها الذكاء الاصطناعي عن كونها مجرد روبوت محادثة ثرثار وتبدأ في فعل الأشياء. حجز التذاكر أو تصحيح الأكواد أو إدارة الخوادم. لقد حلت عصر وكلاء الذكاء الاصطناعي، لكن معها جاء الصداع الذي تجاهله عدد من المطورين بعناية. أطلقت Trail of Bits تحليلاً يعمل كدوش بارد: وكلاؤك "الآمنون" هي ثغرة أمان محتملة بحجم جراند كانيون.

جوهر المشكلة يكمن على السطح تماماً، لكننا نرفض بعناد رؤيتها. نمنح نماذج اللغة الوصول إلى الأدوات—نظام الملفات والطرفية وواجهات برمجة التطبيقات. للنوم بهدوء، يبني المهندسون عادة الدفاعات من "القوائم البيضاء" (allowlists) للأوامر المسموحة ويضيفون إنساناً في سلسلة صنع القرار. كما لو أن الذكاء الاصطناعي أراد أن يفعل شيئاً غريباً، سيلاحظه الإنسان ويوقفه. يبدو منطقياً؟ في الممارسة العملية، ينهار تماماً.

أظهرت Trail of Bits كيف ينكسر هذا من خلال حقن المعاملات. إنها ليست حقن shell كلاسيكية حيث تضيف ببساطة كوداً ضاراً. كل شيء هنا أكثر دقة. يتلاعب المخترق بالمطالبة بحيث يستخدم النموذج أداة مسموحة، لكن مع معاملات تحولها إلى سلاح. تخيل أنك سمحت للوكيل باستخدام أمر `curl` للتحقق من الاتصال، وأنه تحت تأثير مطالبة مخفية، ينزل برنامج نصي ضار ويشغله. رسمياً، كان الأمر في القائمة البيضاء. في الواقع—للتو أعطيت المهاجم RCE (تنفيذ الأوامر من بُعد).

من المثير للسخرية بشكل خاص الاعتماد على مرشحات regex. محاولة تصفية إخراج LLM بتعبيرات منتظمة هي مثل محاولة حبس الماء في غربال. النماذج متغيرة جداً والسياق معقد جداً بحيث لا يمكن للمنطق regex الصارم أن يمسك بجميع أشكال السلوك الضار. هذا نمط معماري معاكس يستمر بطريقة ما في العيش في بيئات الإنتاج لدى العديد من الشركات الناشئة.

ماذا عن "الإنسان في الحلقة"؟ هذا يعمل فقط في عالم مثالي. في الواقع، يعاني المستخدمون من إرهاق القرار. عندما يطلب الوكيل التأكيد على إجراء غير ضار للمرة العاشرة، يتلاشى الحذر. وإذا تم إخفاء الهجوم بمهارة، فقد لا يلاحظ حتى المهندس ذو الخبرة الحيلة في مجموعة من أعلام سطر الأوامر. ننقل المسؤولية إلى المستخدم، الذي غالباً ما يكون الحلقة الأضعف.

ماذا يعني هذا للصناعة؟ نحن نقترب من لحظة يصبح فيها تصميم وكلاء الذكاء الاصطناعي الساذج خطيراً. مجرد ربط LangChain بالطرفية والأمل في الأفضل لم يعد خياراً. نحتاج إلى عزل بيئة التنفيذ الكامل (الحجر الرملي)، وتقييد صارم للامتيازات على مستوى نظام التشغيل بدلاً من مستوى التطبيق، ورفض الوهم بأن LLMs يمكن أن تعتدل نفسها.

الملخص: لا يمكن بناء أمان وكيل الذكاء الاصطناعي على الثقة في النموذج أو المستخدم. إذا كان لدى وكيلك إمكانية الوصول إلى العالم الحقيقي، افترض أنه تم اختراقه بالفعل. هل أنت مستعد لأن يحذف "مساعدك الذكي" قاعدة بيانات الإنتاج؟