خبير PWN AI Artyom Semenov: كيف يحذف وكلاء الذكاء الاصطناعي الملفات ويضعفون أنفسهم

في عام 2026، نشر موقع Habr مقابلة مع أرتيم سيمينوف، مؤلف قناة Telegram المسماة PWN AI المكرسة للتطبيقات غير الآمنة للذكاء الاصطناعي، حول كيفية هيكلة أمان أنظمة الذكاء الاصطناعي ولماذا أصبحت الهجمات على نماذج اللغة تخصصاً منفصلاً بتصنيفها الخاص وأدواتها وحوادثها الحقيقية.

كيفية نمو سطح الهجوم

وفقاً لسيمينوف، أدى ظهور وكلاء الذكاء الاصطناعي المستقلين وبروتوكول MCP (Model Context Protocol) إلى توسيع سطح الهجوم على أنظمة الذكاء الاصطناعي بشكل حاد. إذا كان الحديث سابقاً يتعلق في الأساس بالتلاعب برد نموذج اللغة، فإن الوكلاء لديهم الآن القدرة على تنفيذ الإجراءات بشكل مستقل في العالم الحقيقي — حذف الملفات وإرسال البيانات للخارج وحتى اختراق أنفسهم، الأمر الذي يجعل عواقب الهجوم الناجح أكثر ملموسية بكثير من مجرد "إجابة خاطئة" من روبوت محادثة.

لماذا لا ينقذك موجه النظام

الأطروحة الرئيسية للمقابلة — موجه النظام ليس حدود أمان. يمكن التحايل على التعليمات المضمنة من قبل المطورين في موجه نموذج ما، والاعتماد عليها كحاجز وقائي ليس مستحسناً. بشكل منفصل، يناقش سيمينوف الفرق بين حقن الموجه المباشر، عندما يتم إدخال تعليمات ضارة مباشرة من قبل المستخدم في الحوار مع النموذج، وحقن الموجه غير المباشر، عندما تدخل التعليمات الضارة النموذج من خلال بيانات خارجية — المستندات وصفحات الويب والبريد الإلكتروني أو نتائج الأدوات التي يعالجها الوكيل أثناء تنفيذ المهمة، حتى دون الاشتباه به.

• الشخص المقابل — أرتيم سيمينوف، مؤلف قناة Telegram PWN AI حول التطبيقات غير الآمنة للذكاء الاصطناعي
• هذه هي بالفعل المقابلة الثانية لسيمينوف مع Habr: تم نشر أول محادثة عن الأمان والذكاء الاصطناعي في عام 2023
• الموضوعات الرئيسية — نمو سطح الهجوم من خلال الوكلاء وبروتوكول MCP وحدود موجهات النظام كحماية والفرق بين حقن الموجه المباشر وغير المباشر
• يتم وصف أمان أنظمة الذكاء الاصطناعي كتخصص منفصل بتصنيفه الخاص وأدواته وليس كموضوع جانبي للأمن الكلاسيكي

ما يقف خلف كلمة "التصنيف"

يؤكد سيمينوف أن حماية أنظمة الذكاء الاصطناعي لم تعد مجموعة من النصائح المختلفة مثل "لا تثق في إدخال المستخدم"، بل تخصص منهجي: لديه تصنيفه الخاص للهجمات وأدواته الخاصة للاختبار ومجموعته الخاصة من الحوادث الموثقة التي يمكن الإشارة إليها. بالنسبة للمهندسين والشركات التي تدمج نماذج اللغة والوكلاء في منتجاتهم، هذا يعني الحاجة إلى بناء الحماية ضد مثل هذه الهجمات بشكل منهجي مثل الحماية ضد الثغرات الكلاسيكية مثل حقن SQL أو XSS، بدلاً من الاعتماد على النموذج "ليحل محله بنفسه"، حيث ينتهي التعليمات الشرعية ويبدأ الهجوم.

لماذا تحدث هذه المحادثة للمرة الثانية

هذه ليست المرة الأولى التي يعود فيها Habr إلى موضوع أمان الذكاء الاصطناعي مع هذا الشخص المقابل: نُشرت محادثة مماثلة مع سيمينوف على المنصة في عام 2023. إن قرار العودة إلى الموضوع وتحديث البيانات مؤشر بحد ذاته — على مدى الوقت المنقضي، انتقلت الصناعة من روبوتات محادثة بسيطة، التي في أسوأ الحالات ستعطي ردود غير ملائمة، إلى وكلاء مستقلين لديهم إمكانية الوصول إلى نظام الملفات والخدمات الخارجية والأدوات من خلال بروتوكولات مثل MCP. وبناءً على ذلك، ارتفعت الرهانات: الخطأ في الحماية الآن يمكن أن يكلف ليس حواراً مفسوداً، بل ملفات محذوفة فعلياً أو بيانات مسربة.

ما يعنيه هذا

تلتقط المحادثة تحولاً في الحجم: إذا كانت الهجمات على نماذج اللغة في الآونة الأخيرة تمثل تمريناً أكاديمياً أكثر، فإنه مع انتشار وكلاء مستقلين يحذفون فعلياً الملفات ويرسلون البيانات للخارج ويكونون عرضة للاختراق الذاتي، يصبح أمان نظام الذكاء الاصطناعي مشكلة هندسية عملية — نفس أمان أي برامج حرجة أخرى، فقط مع تصنيف جديد للتهديدات خاص بالوكلاء وبروتوكولات MCP.