ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارAPI / منتج · جاهز للعملHabr AI→ المصدر

INFERA AI.SafeCode تجمع بيانات 8 ماسحات في خريطة هجوم وتختبر روبوتات الدردشة بطلبات هجومية

يضم تقرير الماسح مئة ثغرة، لكن من غير الواضح أيها يستطيع المهاجم الوصول إليها من الخارج. تجمع INFERA AI.SafeCode بيانات ثمانية ماسحات في خريطة واحدة: من نقطة endpoint العامة، مرورًا بالشيفرة، وصولًا إلى العملية الخطرة. أما وحدة AI Red Team فتُمطر روبوت الدردشة بطلبات هجومية وتحسب نسبة الناجح منها (ASR). لذلك أصلحوا أولًا النتائج الواقعة على مسار يمكن الوصول إليه، وأوقفوا الإصدار عند ارتفاع ASR.

معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
INFERA AI.SafeCode تجمع بيانات 8 ماسحات في خريطة هجوم وتختبر روبوتات الدردشة بطلبات هجومية
المصدر: Habr AI. كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليHabr AI ↗
رئيس التحرير
خمس مقاييسASR وcitation وgrounded وhallucination rate وASR drift
المرجع هو سلوك الإصدار السابقارتفاع ASR إشارة إنذار حتى لو بقي ضمن الحدود المقبولة
حقيقة رئيسية #3عند تحديد العتبة ثم تجاوزها، يفشل البناء بخطأ quality gate

تخيّلوا تقريرًا أمنيًا يضم أكثر من مئة ثغرة، لكل منها رقم CWE وملف وسطر ومستوى خطورة. من أين نبدأ؟ تبدو الثغرة في وحدة مهجورة والثغرة المطابقة لها تمامًا في endpoint عامة متماثلتين في الجدول، مع أن الخطر مختلف. وصف مطورو المنصة الروسية INFERA AI.SafeCode على Habr كيف يعالجون هذه المشكلة. النهج الأول: جمع بيانات ثمانية ماسحات في خريطة واحدة لسطح الهجوم، أي لكل ما يستطيع المهاجم الوصول إليه من الخارج. النهج الثاني: AI Red Team، وهو فحص آلي لروبوت دردشة أو مساعد قيد التشغيل عبر سيل من الطلبات الهجومية، ومقياسه الرئيسي ASR (attack success rate) الذي يبيّن نسبة الهجمات الناجحة.

من قائمة النتائج إلى خريطة قابلية الوصول

الماسحات الثمانية هي: SAST (تحليل الشيفرة المصدرية)، وSCA (فحص تبعيات المصدر المفتوح)، والبحث عن الأسرار، وDAST (فحص التطبيق قيد التشغيل)، وPentest (وكيل ذكاء اصطناعي يحاكي اختبار الاختراق اليدوي)، وCode Fuzzing (البحث عن حالات الانهيار والحالات الحدّية)، وAPI Fuzzing (لواجهات REST وGraphQL وgRPC وWebSocket)، وفحص MLSecOps الذي يحدد مكوّنات نظام الذكاء الاصطناعي ويبحث عن العيوب فيها. ويعترف المؤلفون أنفسهم بأن وجود ثمانية ماسحات في منتج واحد ليس ميزة بحد ذاته. القيمة تكمن في الترابط بين النتائج: فالنتيجة في الشيفرة مرتبطة بنقطة endpoint، وهذه مرتبطة بالسطح الخارجي، وحالة الفحص مرتبطة بتشغيلة محددة وتاريخها.

أنفع مقطع هو السلسلة «المدخل ← المسار ← sink». والـ sink هنا عملية خطرة: استعلام SQL، أو تنفيذ أمر، أو إلغاء تسلسل غير آمن، أو تسريب بيانات حساسة. لنفترض أن لديكم مئة نتيجة. إذا وُجد مسار من API العامة إلى المعالج المصاب، تُعالَج النتيجة أولًا. وإذا لم يوجد مسار، تنزل إلى أسفل قائمة الانتظار. ويكشف مخطط الاستدعاءات كذلك تركّز الخطر، مثل وجود عدة endpoint عامة تشترك في معالج غير آمن واحد.

وتبرز blind spots بوصفها فئة مستقلة، أي ما لم يُفحص. التقرير الفارغ لا يعني الأمان إذا لم يُشغَّل DAST بعد تغيير المسارات، أو كان SCA يعمل على لقطة قديمة للتبعيات، أو لم يكن API fuzzing على علم بالدوال الجديدة. لذلك ينبغي ألا يجيب مقياس التغطية عن سؤال «كم جرى مسحه» فحسب، بل أيضًا عن سؤال «أي المسارات المهمة بقيت دون فحص».

كيف يُفحص تطبيق LLM

في الخدمة الويب التقليدية هناك طلب واستجابة وسلوك متوقع. أما في تطبيق LLM فتتوقف النتيجة على النموذج والموجّه النظامي (system prompt) والأدوات وبيانات الاسترجاع (retrieval)، بل وحتى على صياغة السؤال. ولا تظهر الثغرة بانهيار العملية، بل بسلوك خاطئ. يكشف المساعد تعليماته النظامية. أو تُتجاوز قاعدة الحماية بإعادة الصياغة أو بحوار متعدد الخطوات. أو يستدعي النموذج أداة بمعاملات خطرة، أو يجيب بثقة دون تأكيد. وهذا ما لا تلتقطه الماسحات الكلاسيكية.

يرسل AI Red Team إلى روبوت الدردشة مجموعة من الطلبات الهجومية. وهي مجموعة سيناريوهات خاضعة لإدارة الإصدارات، وليست إدخالًا يدويًا في الواجهة. ويمكن بالتوازي تشغيل مجموعة اختبارات للجودة: أسئلة مع إجابات مرجعية. والغرض منها التحقق لا من «هل صمد النموذج» فقط، بل أيضًا من «هل ساء أداؤه في الإجابة عن موضوع السؤال».

تحسب المنصة خمسة مؤشرات:

  • ASR — نسبة الهجمات الناجحة؛
  • citation rate — نسبة الإجابات التي تتضمن الإحالة المطلوبة إلى المصدر؛
  • grounded rate — نسبة الإجابات المستندة إلى بيانات مسموح بها؛
  • hallucination rate — نسبة الإجابات التي تحتوي هلوسة؛
  • ASR drift — تغيّر نجاح الهجمات قياسًا إلى المرجع.

المرجع هو السلوك المثبّت للإصدار السابق. وهو لا يهدف إلى إعلان النظام «آمنًا إلى الأبد»، بل إلى رصد التراجعات. فإذا ارتفع ASR بعد تغيير النموذج أو الموجّه أو فهرس retrieval، فهذه إشارة خطر حتى لو بقيت القيمة المطلقة ضمن السياسة.

كيف يُطبَّق دون إيقاف خط الإنتاج

إذا لم تُحدَّد العتبات، يبقى التشغيل مجرد قياس. أما إذا جرى تجاوز عتبة واحدة محددة على الأقل، فسيُرجع التشغيل خطأ quality gate (فحص الجودة عند مخرج البناء)، وقد يتوقف الإصدار. وينصح المؤلفون بالتدرج. أولًا مراقبة على بيئة اختبار. ثم سياسة مرنة تظهر فيها المقاييس في CI دون حظر البناء. ولا يُفعَّل الحظر الصارم إلا لفئات الهجمات الحرجة. بعد ذلك تُغذّى المجموعة بانتظام بالحوادث الفعلية ونتائج الفحوص اليدوية.

قد تبدو عتبة «ASR يساوي صفرًا» صارمة، لكنها غير واقعية لمجموعة واسعة تضم سيناريوهات ملتبسة. والأجدى تقسيم الهجمات إلى فئات وحظر الإصدار بحسب الفئات الحرجة لعملكم. واتفقوا مسبقًا أيضًا على ما يُعدّ هجومًا ناجحًا. ففي تطبيق قد يكفي ألا يُسرَّب سر، وفي آخر ينبغي التأكد من أن النموذج لم يستدعِ أداة ولم يغيّر سجلًا.

ما ينبغي أخذه في الحسبان

كُتبت المادة بقلم مطوري المنصة أنفسهم. ولا تتضمن قياسات مستقلة، ولا أرقامًا عن الإنذارات الكاذبة أو تكلفة التشغيلات. كما أن مخطط قابلية الوصول لا يغني عن التحليل اليدوي لمنطق الأعمال.

الخلاصة العملية مفيدة حتى دون منتج بعينه. احفظوا مجموعات الهجوم والتقييم بجوار الشيفرة. اربطوا النتائج بالـ commit وبإصدار النموذج. كرّروا Red Team بعد تغيير النموذج أو الموجّه أو الفهرس أو مجموعة الأدوات. وصنّفوا النتائج بحسب أولوية قابلية الوصول. وبالنسبة إلى الفرق التي تطلق ميزات LLM، هذه طريقة لتحويل الأمن من «موافقة» لمرة واحدة قبل الإصدار إلى اختبار متكرر لكل إصدار.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول من قائمة النتائج إلى خريطة قابلية الوصول؟

الماسحات الثمانية هي: SAST (تحليل الشيفرة المصدرية)، وSCA (فحص تبعيات المصدر المفتوح)، والبحث عن الأسرار، وDAST (فحص التطبيق قيد التشغيل)، وPentest (وكيل ذكاء اصطناعي يحاكي اختبار الاختراق اليدوي)، وCode Fuzzing (البحث عن حالات الانهيار والحالات الحدّية)، وAPI Fuzzing (لواجهات REST وGraphQL وgRPC وWebSocket)، وفحص MLSecOps الذي يحدد مكوّنات نظام الذكاء الاصطناعي ويبحث عن العيوب فيها. ويعترف المؤلفون أنفسهم بأن وجود ثمانية ماسحات في منتج واحد ليس ميزة بحد ذاته.

ما أبرز التفاصيل حول كيف يُفحص تطبيق LLM؟

في الخدمة الويب التقليدية هناك طلب واستجابة وسلوك متوقع. أما في تطبيق LLM فتتوقف النتيجة على النموذج والموجّه النظامي (system prompt) والأدوات وبيانات الاسترجاع (retrieval)، بل وحتى على صياغة السؤال. ولا تظهر الثغرة بانهيار العملية، بل بسلوك خاطئ. يكشف المساعد تعليماته النظامية. أو تُتجاوز قاعدة الحماية بإعادة الصياغة أو بحوار متعدد الخطوات. أو يستدعي النموذج أداة بمعاملات خطرة، أو يجيب بثقة دون تأكيد. وهذا ما لا تلتقطه الماسحات الكلاسيكية. يرسل AI Red Team إلى روبوت الدردشة مجموعة من الطلبات الهجومية.

ما أبرز التفاصيل حول كيف يُطبَّق دون إيقاف خط الإنتاج؟

إذا لم تُحدَّد العتبات، يبقى التشغيل مجرد قياس. أما إذا جرى تجاوز عتبة واحدة محددة على الأقل، فسيُرجع التشغيل خطأ quality gate (فحص الجودة عند مخرج البناء)، وقد يتوقف الإصدار. وينصح المؤلفون بالتدرج. أولًا مراقبة على بيئة اختبار. ثم سياسة مرنة تظهر فيها المقاييس في CI دون حظر البناء. ولا يُفعَّل الحظر الصارم إلا لفئات الهجمات الحرجة. بعد ذلك تُغذّى المجموعة بانتظام بالحوادث الفعلية ونتائج الفحوص اليدوية. قد تبدو عتبة «ASR يساوي صفرًا» صارمة، لكنها غير واقعية لمجموعة واسعة تضم سيناريوهات ملتبسة.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…