OpenEvoShield: защита мультиагентных LLM-систем от эволюционирующих инъекций
Исследователи выложили на arXiv OpenEvoShield — систему непрерывной защиты для мультиагентных LLM-систем. Она отражает атаки, где вредоносные инструкции расползаются между агентами через их переписку, а сами атаки постоянно эволюционируют. За 100 раундов тестов на 5 бенчмарках метод обошёл прежние подходы и поймал большинство новых атак при низком проценте ложных срабатываний.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.AI؛ بتحرير Hamidun News
في يوليو 2026، نشر باحثون على arXiv إطار العمل OpenEvoShield — نظام دفاع مستمر لأنظمة الوكلاء المتعددين القائمة على نماذج اللغة الكبيرة (LLM-MAS)، يكتشف خلال 100 جولة نشر معظم هجمات الحقن غير المسبوقة مع معدل منخفض من الإنذارات الكاذبة.
ضد أي هجمات
يحمي OpenEvoShield أنظمة LLM-MAS من حقن التعليمات الضارة عبر التواصل بين الوكلاء — عندما يُدسّ المهاجم أمرًا إلى أحد الوكلاء، فينشر ذلك الوكيل السلوك الضار في النظام بأكمله عبر تراسله مع الوكلاء الآخرين. وبحسب وصف الباحثين، فإن هذه الهجمات "ديناميكية بشكل مزدوج": يعمل المهاجمون على تطوير استراتيجيات الحقن ضد دفاع منشور بالفعل، بينما ينجرف سلوك الوكلاء العاديين مع اتساع النظام. لهذا السبب بالتحديد، تفقد الدفاعات الثابتة، المدرَّبة مرة واحدة، دقتها بسرعة.
كيف يعمل هذا الدفاع
بُني OpenEvoShield كـ co-evolutionary continual defense — دفاع يتطور مع الهجمات بدلًا من أن يبقى مجمّدًا بعد التدريب. ووفقًا للنسخة الأولية (preprint)، يتألف الإطار من أربع وحدات.
- M1 — متحكم غير متماثل في السرعات: يفصل بين التعلم السريع على جانب الهجوم والتعلم البطيء على جانب السلوك الطبيعي، استنادًا إلى إشارتي انجراف
- M2 — تحديث حدود المعيار: يحافظ ببطء على حد سلوكي ديناميكي للوكلاء "الطبيعيين"
- M3 — مجموعة سياسات مع تنظيم EWC: تتكيف بسرعة مع التهديدات الجديدة دون نسيان كارثي للتهديدات القديمة
- M4 — كاشف طاقة متعدد الدقة (الحبيبية): يجمع بين خصائص مستوى العقدة والرسم البياني الفرعي والرسم البياني الكامل لتصنيف هجوم جديد كشذوذ خارج توزيع التدريب
- الاختبار — 100 جولة نشر عبر 5 معايير قياسية (benchmarks) و4 طوبولوجيات لأنظمة الوكلاء المتعددين
لماذا تنهار الدفاعات التقليدية؟
تنهار الدفاعات التقليدية لأنها تتعامل مع النشر باعتباره "عالمًا مغلقًا"، وتفقد دقتها بمجرد أن يتجاوز توزيع الهجمات أو السلوك الطبيعي حدود عينة التدريب. ووفقًا لـ arXiv، يحل OpenEvoShield هذه المشكلة عبر معدلات تعلم منفصلة: يتكيف جانب الهجوم بسرعة، بينما يُحدَّث حد المعيار ببطء، ما يمنع النظام من الخلط بين الانجراف التدريجي والهجوم. وعلى مدى 100 جولة، أظهرت التجارب أن الطريقة تتفوق على كل من المناهج الثابتة والمناهج القائمة على continual learning.
"يتفوق
OpenEvoShield على الطرق الثابتة والطرق القائمة على continual learning، ويكتشف معظم الهجمات غير المسبوقة مع معدل منخفض من الإنذارات الكاذبة"، بحسب ملخص النسخة الأولية على arXiv.
ما الذي يعنيه هذا
مع تجميع الشركات لخطوط عمل من وكلاء LLM، تتحول أمان التراسل بين الوكلاء إلى مهمة هندسية قائمة بذاتها. يشير OpenEvoShield إلى اتجاه واضح: يجب أن يتعلم الدفاع بشكل مستمر وفي الوقت الفعلي، مميّزًا تطور الهجمات عن الانجراف الطبيعي للنظام.
أسئلة شائعة
ما هو الهجوم عبر التواصل بين الوكلاء؟
هو عندما يُدخل مهاجم تعليمة ضارة في رسالة أحد الوكلاء، فتنتشر عبر النظام أثناء تبادل الوكلاء للبيانات. وبحسب وصف الباحثين، يُعد هذا تهديدًا رئيسيًا لأنظمة الوكلاء المتعددين القائمة على LLM في المهام الحساسة من الناحية الأمنية.
على ماذا تم اختبار OpenEvoShield؟
وفقًا للنسخة الأولية، خضعت الطريقة لـ 100 جولة نشر عبر 5 معايير قياسية و4 طوبولوجيات لأنظمة الوكلاء المتعددين. وفي ظل هذه الظروف، تفوقت على المناهج الثابتة والمناهج القائمة على continual learning، والتقطت معظم الهجمات الجديدة بنسبة منخفضة من الإنذارات الكاذبة.
هل تحتاج إلى ذكاء اصطناعي يعمل داخل شركتك — وليس فقط في موجز الأخبار؟
أبني ذكاءً اصطناعياً جاهزاً للإنتاج للشركات — أنظمة CRM مخصّصة، أدوات داخلية، وكلاء مستقلون، أتمتة سير العمل. ملك لك، مصمّم وفق عمليتك، دون رسوم لكل مستخدم. من إعداد جمال خميدون، مدير المنتجات في AlpinaGPT (منصة ذكاء اصطناعي، أكثر من 6000 مستخدم).
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.