CyberArena تجمع 12 وكيل ذكاء اصطناعي في 466 مباراة هجوم ودفاع في الوقت الفعلي

نشر فريق CyberArena معيار اختبار يجلس فيه وكيلان من وكلاء الذكاء الاصطناعي في بيئتين معزولتين (sandbox)، فيخترق كل منهما خدمة الآخر ويرقّع خدمته في الوقت نفسه. وخاض 12 وكيلًا متقدمًا من وكلاء LLM ما مجموعه 466 مباراة على 40 مهمة. ووفق المؤلفين، لا تزال الساحة تميّز بين النماذج بحسب قوتها في الحالات التي بلغت فيها اختبارات الوكيل الواحد ضد هدف ثابت سقفها. وقد نُشرت الورقة في Hugging Face Daily Papers.

لماذا لم تعد الاختبارات الثابتة مجدية

تختبر معظم معايير الأمن السيبراني الحالية الوكيل في فراغ. هناك هدف ضعيف لا يتغير، وعلى الوكيل اختراقه. تشبع هذه الاختبارات بسرعة: تصل النماذج إلى درجات عالية وتتلاشى الفروق بينها. كما أنها لا تُظهر أهم ما في الأمر. ففي العمليات الحقيقية يتغير الدفاع كل دقيقة، ويكيّف المهاجم أسلوبه مع هذه التغييرات.

يقوم CyberArena على مخطط متماثل. يعمل الوكيلان بقواعد متطابقة، ويؤدي كل منهما الدورين في آن واحد: يهاجم خصمه ويدافع عن خدمته. وتدور المواجهة على عدة جولات، فيما تتغير الخدمات باستمرار. وهكذا يتحول الهدف الثابت إلى مهمة شبه مفتوحة تقيس سرعة ودقة ثلاثة إجراءات: العثور على الثغرة، واستغلالها، وسدّها بتصحيح (patch).

ولكي لا يتقادم المعيار بالسرعة نفسها التي تقادمت بها المعايير السابقة، أدرج المؤلفون خط أنابيب وكيليًا آليًا. يولّد هذا الخط بنفسه بيئات جديدة ويفحصها ويتحقق من صحتها. وثمة مشكلة منفصلة في المواجهات الثنائية، هي أن نتيجتها يصعب اختزالها في رقم واحد. ولهذا أدخل الباحثون نموذجًا ديناميكيًا يحوّل مجريات المباراة إلى تقييمات موحدة متعددة الأبعاد في الهجوم والدفاع والمهارات المرتبطة بالمجال.

ماذا أظهرت 466 مباراة

حجم التجربة بالأرقام:

• 12 وكيلًا متقدمًا من وكلاء LLM؛
• 40 مهمة (تحديًا)؛
• 466 مباراة؛
• التقييم على ثلاثة محاور: الهجوم والدفاع والمهارات المرتبطة بالمجال؛
• الصيغة: متماثلة ومتوازية ومتعددة الجولات، داخل بيئات معزولة.

أكثر ما يلفت في الورقة هو سلوك الوكلاء. يكتب المؤلفون أن مسارات الأداء تُقرأ كأنها اشتباك، لا كأنها امتحان. فالمدافعون الضعفاء يسدّون ثغرة واحدة ويغفلون التالية. كما يؤكدون نجاح الإصلاحات استنادًا إلى بيانات قديمة: يعلنون أن الخدمة أُصلحت دون أن يتحققوا من أنها ما زالت عرضة للاختراق في اللحظة الراهنة. وهذا خطأ شائع ومكلف في الدفاع الحي.

أما الوكلاء الأقوياء فيتصرفون بشكل مختلف. فهم يفكرون بخطوة إلى الأمام ويتركون أبوابًا خلفية سيستخدمونها في الجولات المتأخرة. وفي إحدى الحالات كتب وكيل بنفسه أداة لاعتراض الحزم (packet sniffer) كي يراقب تحركات خصمه. لم يطلب منه أحد إنشاء أداة استطلاع: فقد قرر أنه لن ينجح دونها.

وهناك تحفظات أيضًا. فبحسب الملخص، تعطي 466 مباراة لاثني عشر نموذجًا عددًا قليلًا من المباريات لكل زوج. وإذا كانت جميع النماذج قد لعبت بعضها ضد بعض، فهذا يعني في المتوسط نحو سبع مباريات لكل زوج. ولن يتضح مدى استقرار التصنيفات إلا من النص الكامل ومنهجية النموذج الديناميكي. كذلك فإن الشبكات الحقيقية أكثر تعقيدًا من البيئات المعزولة ذات المجموعة المعروفة مسبقًا من الخدمات.

ماذا على الفرق التي تبني وكلاء للأمن أن تفعل?

أولًا، لا تعتمدوا على النتائج المحققة في مجموعات المهام الثابتة. فنجاح الوكيل في اختبارات شبيهة بمسابقات CTF لا يعني بعد أنه سيصمد في الدفاع حين يغيّر الخصم تكتيكه. والسيناريوهات الديناميكية ذات التغذية الراجعة أقرب إلى الواقع.

ثانيًا، أضيفوا إلى خط أنابيب وكيل الدفاع خطوة إعادة تحقق إلزامية. يجب أن يُثبَّت كل تصحيح (patch) بمحاولة استغلال جديدة، لا بسجل سابق. وهذا بالضبط ما يتعثر عنده المدافعون الضعفاء، بحسب وصف المؤلفين.

ثالثًا، راعوا الاستخدام المزدوج. فالوكيل الذي يستطيع زرع أبواب خلفية وكتابة أداة اعتراض حزم بنفسه يتطلب عزلًا صارمًا، وتقييدًا لصلاحيات الشبكة، وتسجيلًا كاملًا لأفعاله. وبالنسبة للباحثين، قد تصبح CyberArena منصة مشتركة: إذ يقدمها المؤلفون بوصفها منصة تجريبية قابلة للتوسعة للأعمال المستقبلية حول وكلاء الأمن السيبراني.