NEXUS: рантайм-контроль безопасности для LLM-агентов с инструментами — F1 0.949
Вышел препринт NEXUS — монитор безопасности для LLM-агентов, которые вызывают инструменты и совершают реальные действия. На каждый шаг агента он выбирает одно из четырёх решений: разрешить, заблокировать, запросить подтверждение или потребовать доработки. На синтетическом бенчмарке из 128 сценариев NEXUS даёт F1 0,949 и обходит подход на голых правилах на 27,3 пункта по точности выбора вмешательства. Медианная задержка — 0,205 мс, меньше 0,1% к обычному циклу агента.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.AI؛ بتحرير Hamidun News
في يوليو 2026، نشرت arXiv ورقة بحثية أولية (preprint) بعنوان NEXUS (Neural EXecution Utility and Safety) - نظام مراقبة لسلامة وقت التشغيل (runtime) لوكلاء LLM الذين يستخدمون الأدوات. يعترض NEXUS كل إجراء يقوم به الوكيل ويختار واحدًا من أربعة خيارات: السماح، الحظر، طلب التأكيد، أو طلب إعادة الصياغة؛ وعلى معيار اصطناعي (benchmark) مكون من 128 سيناريو، يحقق النظام قيمة F1 تبلغ 0.949 عند زمن استجابة وسيط (median latency) قدره 0.205 مللي ثانية.
كيف بُني نظام المراقبة
يجمع NEXUS بين ثلاث آليات تحكم، ويصدر بناءً عليها استجابة متدرجة. وفقًا للورقة البحثية المنشورة على arXiv، تشمل هذه الآليات قواعد أمان حتمية (deterministic)، وفحص الوسائط (arguments) على مستوى كل معامل على حدة، وانحدارًا لوجستيًا معايَرًا (calibrated logistic regression) يحسب درجة مخاطر (risk-score) للتصعيد.
وهذه الـ risk-score تحديدًا هي ما يسمح بالانتقال من قرار ثنائي «مسموح/غير مسموح» إلى سياسة تدخل من أربعة مستويات. فبدلًا من مجرد حظر استدعاء مشبوه، يمكن لنظام المراقبة أن يطلب من الوكيل تأكيدًا أو يعيد الإجراء لإعادة الصياغة.
- أربعة إجراءات ضمن السياسة: allow، block، request confirmation، request revision
- ثلاث آليات: قواعد حتمية + فحص الوسائط + انحدار لوجستي لحساب risk-score
- F1 = 0.949 على معيار اصطناعي مكون من 128 سيناريو
- دقة اختيار التدخل ضمن 4 فئات - 0.6406
- زمن استجابة وسيط 0.205 مللي ثانية، وأقل من 0.1% من العبء الإضافي
إلى أي مدى هذا أدق من القواعد وحدها
يتفوق NEXUS على النهج القائم على القواعد فقط بمقدار 27.3 نقطة مئوية في دقة اختيار التدخل على المعيار الاصطناعي. وفي الاختبار نفسه، تبلغ دقته (accuracy) في التصنيف الرباعي 0.6406، مقابل نتيجة أقل بشكل ملحوظ للنهج القائم على القواعد فقط (rule-only).
كما تم اختبار النموذج على مجموعات بيانات خارجية. ففي R-Judge، يحقق NEXUS قيمة F1 قدرها 0.861 مقابل 0.849 للنهج rule-only؛ وفي AgentHarm يتساوى أداؤه مع القواعد (ويعزو المؤلفون ذلك إلى قيود في نموذج التهديد)؛ وفي اختبار حقن التعليمات غير المباشر (IPI - indirect prompt injection) يحقق 0% من الهجمات الناجحة مع السماح بـ 99% من الإجراءات المشروعة.
ماذا أظهر اختبار الإجهاد (stress test)
على معيار NEXUS-Stress «الأعمى عن القواعد»، يحقق نظام المراقبة قيمة F1 قدرها 0.881 - ويؤكد المؤلفون أنفسهم أن التوجيه الدقيق للتدخلات يبقى المهمة الأصعب على الإطلاق. وقد صُمم هذا السيناريو عمدًا بحيث يفتقر إلى الاعتماد على قواعد محددة مسبقًا، وذلك لاختبار قدرة risk-score على التعميم.
وعلى نحو منفصل، يشدد المؤلفون على تكلفة هذا التحكم. فوفقًا للورقة البحثية، يبلغ زمن الاستجابة الوسيط 0.205 مللي ثانية، ويشكل العبء الإضافي أقل من 0.1% من دورة عمل نمطية للوكيل.
«NEXUS adds under 0.1% overhead to typical agent loops» - من ملخص
الورقة البحثية على arXiv.
وقد أُتيح الكود، والمعايير (benchmarks)، وأداة تقييم المخاطر (risk-scorer) المعايَرة للوصول المفتوح، ما يتيح إعادة إنتاج النتائج ودمج نظام المراقبة في أنظمة وكلاء خاصة.
ما الذي يعنيه هذا
مع انتقال وكلاء الذكاء الاصطناعي من الاستجابات النصية إلى إجراءات حقيقية - استدعاءات API، وعمليات شراء، والتعامل مع الملفات - ترتفع تكلفة الخطأ. يُظهر NEXUS أن التحكم في وقت التشغيل يمكن أن يكون دقيقًا وشبه مجاني من حيث زمن الاستجابة في آن واحد، كما أن النشر المفتوح للكود والمعايير يمنح الصناعة نقطة مرجعية مشتركة لمقارنة أنظمة المراقبة من هذا النوع.
الأسئلة الشائعة
ما هو NEXUS؟
NEXUS (Neural EXecution Utility and Safety) هو نظام مراقبة أمان لوكلاء LLM الذين يستخدمون الأدوات. يطبق سياسة تدخل رسمية، وعلى كل إجراء يقوم به الوكيل، يختار واحدًا من أربعة قرارات: السماح، الحظر، طلب التأكيد، أو طلب إعادة الصياغة.
إلى أي مدى يبطئ NEXUS عمل الوكيل؟
وفقًا للورقة البحثية، يبلغ زمن الاستجابة الوسيط 0.205 مللي ثانية، ويشكل العبء الإضافي أقل من 0.1% من دورة عمل نمطية للوكيل. أي أن التحكم لا يكاد يؤثر على السرعة.
هل يمكن استخدام NEXUS في مشاريع خاصة؟
نعم. أتاح المؤلفون الكود والمعايير وأداة تقييم المخاطر المعايَرة للوصول المفتوح، ما يجعل من الممكن إعادة إنتاج النتائج ودمج نظام المراقبة في خطوط أنابيب (pipelines) وكلاء خاصة.
هل تحتاج إلى ذكاء اصطناعي يعمل داخل شركتك — وليس فقط في موجز الأخبار؟
أبني ذكاءً اصطناعياً جاهزاً للإنتاج للشركات — أنظمة CRM مخصّصة، أدوات داخلية، وكلاء مستقلون، أتمتة سير العمل. ملك لك، مصمّم وفق عمليتك، دون رسوم لكل مستخدم. من إعداد جمال خميدون، مدير المنتجات في AlpinaGPT (منصة ذكاء اصطناعي، أكثر من 6000 مستخدم).
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.