وكلاء الذكاء الاصطناعي: مساعد مريح أم باب مفتوح أمام المخترقين؟
يخرج وكلاء الذكاء الاصطناعي إلى العالم الحقيقي ويحصلون على صلاحية الوصول إلى الملفات وسطر الأوامر، وهنا تبدأ المشكلة الحقيقية. حلّلت Trail of Bits كيف تتحول وظائف تبدو بريئة إلى ثغرة RCE (تنفيذ الأوامر عن بُعد). المشكلة الأساسية أننا نثق بـ«القوائم البيضاء» للأوامر وبمرشّحات regex، بينما تعلّم المخترقون تنفيذ حقن الوسائط (argument injection). حتى موافقة الإنسان (human-in-the-loop) لا تُنقذ الموقف إذا كان المستخدم لا يفهم سياق الأمر المخفي، أو اعتاد ببساطة الضغط على «موافق». هذا لم يعد تهديدًا نظريًا، بل متجه هجوم حقيقي على أي نظام يمتلك فيه LLM صلاحية استخدام الأدوات. لقد توقف الأمان القائم على «المحظورات» عن العمل.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
لنكن صريحين: كنا جميعًا ننتظر اللحظة التي يتوقف فيها الذكاء الاصطناعي عن كونه مجرد روبوت دردشة ثرثار ويبدأ في تنفيذ المهام: حجز التذاكر، وتصحيح الأخطاء البرمجية، وإدارة الخوادم. لقد بدأ عصر وكلاء الذكاء الاصطناعي، لكنه جلب معه صداعًا تجاهله كثير من المطورين عن قصد. نشرت Trail of Bits تحليلًا أشبه بدش بارد: وكلاؤكم «الآمنون» ثغرة أمنية محتملة بحجم غراند كانيون.
جوهر المشكلة واضح للعيان، لكننا نصرّ على تجاهله. نمنح النماذج اللغوية صلاحية الوصول إلى الأدوات: نظام الملفات، والطرفية (terminal)، وواجهات API. ولكي ينام المهندسون مطمئنين، يبنون عادةً حماية من «القوائم البيضاء» (allowlists) للأوامر المسموحة، ويضيفون إنسانًا إلى سلسلة اتخاذ القرار. المنطق أنه إذا حاول الذكاء الاصطناعي فعل شيء غريب، فسيلاحظ الإنسان ذلك ويمنعه. هل يبدو هذا منطقيًا؟ على أرض الواقع ينهار هذا التصور تمامًا.
أظهرت Trail of Bits كيف ينكسر هذا الأسلوب عبر حقن الوسائط (argument injection). هذا ليس حقن shell كلاسيكيًا تُضيف فيه شيفرة خبيثة ببساطة، بل الأمر أدق من ذلك. يتلاعب المخترق بالموجّه (prompt) بحيث يستخدم النموذج أداة مسموحًا بها، لكن بوسائط تحوّلها إلى سلاح. تخيلوا أنكم سمحتم للوكيل باستخدام الأمر `curl` لفحص الاتصال، فإذا به، تحت تأثير موجّه مخفي، يحمّل سكربتًا خبيثًا ويشغّله. من الناحية الشكلية كان الأمر ضمن القائمة البيضاء. أما فعليًا، فقد منحتم المهاجم للتو RCE (تنفيذ الأوامر عن بُعد).
ويبدو التعويل على مرشّحات regex مفارقة بحد ذاته. محاولة تصفية مخرجات LLM بالتعبيرات النمطية أشبه بمحاولة حبس الماء في غربال. النماذج شديدة التنوع، والسياق أعقد من أن يلتقط منطق regex الصارم كل أشكال السلوك الخبيث. إنه نمط مضاد معماري (antipattern) لا يزال، لسبب ما، حيًّا في بيئات الإنتاج لدى كثير من الشركات الناشئة.
وماذا عن «الإنسان في الحلقة»؟ لا ينجح هذا إلا في عالم مثالي. في الواقع يعاني المستخدمون من إرهاق اتخاذ القرار. حين يطلب الوكيل التأكيد للمرة العاشرة على إجراء عادي، تضعف اليقظة. وإذا كان الهجوم مموّهًا بإتقان، فقد لا يلحظ حتى المهندس المخضرم الخدعة في مجموعة خيارات سطر الأوامر (flags). نحن نلقي المسؤولية على المستخدم، وهو في الغالب أضعف حلقة في السلسلة.
ماذا يعني ذلك للقطاع؟ نقترب من نقطة يصبح فيها التصميم الساذج لوكلاء الذكاء الاصطناعي خطرًا. لم يعد كافيًا ربط LangChain بالطرفية والأمل بأفضل النتائج. نحتاج إلى عزل كامل لبيئة التنفيذ (sandboxes)، وتقييد صارم للصلاحيات على مستوى نظام التشغيل لا على مستوى التطبيق، والتخلي عن وهم أن LLM قادر على مراقبة نفسه بنفسه.
الخلاصة: لا يمكن بناء أمان وكلاء الذكاء الاصطناعي على الثقة بالنموذج أو بالمستخدم. إذا كان وكيلكم يمتلك وصولًا إلى العالم الحقيقي، فافترضوا أنه مخترَق بالفعل. هل أنتم مستعدون لأن يحذف «مساعدكم الذكي» قاعدة بيانات الإنتاج؟
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.