CRA-Bench وCRA-Net: كيف نرصد الضرر الذي يتراكم أثناء الحوار مع نماذج LLM
نشر باحثون على arXiv إطار CRA، وهو نظام حماية لنماذج LLM يتتبع المخاطر على امتداد الحوار كله لا في رسالة منفردة. الفكرة أن الهدف الضار قد يتشكل تدريجيًا من خطوات تبدو بريئة. وأتاح الباحثون مع الورقة معيار CRA-Bench، وهو 1200 جلسة من 8 أدوار في ثلاث عائلات من التهديدات، إضافةً إلى مجموعة موسّعة من 2000 جلسة.
معالج بواسطة الذكاء الاصطناعي من arXiv cs.CL؛ بتحرير Hamidun News
نشر فريق من الباحثين في يوليو 2026 على arXiv ورقة بعنوان «Stateful Guardrails for Multi-Turn LLM Systems»، تقدّم إطار CRA الذي يتتبع تراكم المخاطر على امتداد الحوار كله مع النموذج اللغوي، لا في رسالة منفردة. كما أتاح الفريق معيار CRA-Bench المؤلف من 1200 جلسة موسومة.
لماذا تفوّت أنظمة الحماية المعتادة الضرر؟
تقيّم معظم أنظمة الأمان الخاصة بنماذج LLM كل زوج «طلب-ردّ» بمعزل عن غيره، ولذلك لا تلاحظ الهجمات التي تتشكل تدريجيًا، دورًا بعد دور. ويطلق المؤلفون على هذه الظاهرة اسم Conversational Risk Accumulation (CRA)، ويحددون ثلاثة أشكال لتراكم المخاطر: ينحرف الحوار تدريجيًا عن موضوع بريء، أو تُجمَّع تعليمات محظورة قطعةً قطعة من رسائل منفصلة، أو تتراكم بيانات حساسة عبر إفصاحات متكررة.
«الأدوار البريئة كلٌّ على حدة تتجمع لتصبح ضررًا»، هكذا يصوغ المؤلفون
جوهر المشكلة في ملخص الورقة على arXiv.
ماذا يتتبع إطار CRA؟
يعمل CRA Framework على مستوى الجلسة، ويراقب ثلاث إشارات في مسار الحوار. الأولى هي الانجراف الدلالي عن «مرساة» الجلسة، أي مدى ابتعاد المحادثة عن موضوعها الأصلي. الثانية هي رسم بياني لتراكم المعلومات يُبنى على الكيانات المستخرجة ويُوزن بحسب حساسيتها. الثالثة هي «تدرّج الانقياد»، وهو إشارة إلى تنامي استعداد النموذج لتنفيذ طلبات تزداد خطورة.
أبرز الحقائق في الورقة:
- المصطلح: Conversational Risk Accumulation (CRA)، ويشمل انجراف النية، وتجميع التعليمات المحظورة على أجزاء، وتراكم الحساسية
- ثلاث إشارات: الانجراف الدلالي، والرسم البياني لتراكم المعلومات، وتدرّج الانقياد
- طريقتان للتقييم: unsupervised convex fusion، ونموذج قابل للتدريب هو CRA-Net DA بأهداف family-adversarial
- CRA-Bench v0.1: 1200 جلسة من 8 أدوار، وثلاث عائلات من التهديدات مع «توائم حميدة» مطابقة في الموضوع
- المجموعة الموسّعة: 2000 جلسة وخمس عائلات (أُضيف persona priming وcontext stuffing)
وللتسجيل يقترح المؤلفون نهجين. الأول هو unsupervised convex fusion، وهو دمج خطي للإشارات دون تدريب، ويسهّل تحليل إسهام كل إشارة. الثاني هو CRA-Net DA، وهو نموذج مدمج قابل للتدريب على مسار الحوار، دُرِّب بأهداف family-adversarial حتى لا يحلّ طول المحادثة وتنوّع مواضيعها محلّ إشارة التهديد الحقيقية.
كيف قيست الفعالية؟
أصدر المؤلفون ثلاث نسخ من المعيار دفعة واحدة. تضم CRA-Bench v0.1 ما مقداره 1200 جلسة من ثمانية أدوار في ثلاث عائلات من التهديدات، وقد اختير لكل جلسة ضارة «توأم» بريء في الموضوع نفسه. أما CRA-Bench v0.2 فتحتوي السيناريوهات نفسها بعد إعادة صياغتها بواسطة LLM آخر لإزالة الآثار القالبية. وتوسّع المجموعة الموسّعة الحجم إلى 2000 جلسة وخمس عائلات.
وللتقييم اقترح الباحثون بروتوكولًا «مساريًا» يقسّم البيانات على مستوى الجلسات، ويضم: Trajectory AUROC، ومقياس turns-to-detection (عدد الأدوار التي يحتاجها النظام لاكتشاف الهجوم)، ومؤشرات معايَرة للإنذارات الكاذبة، وفترات ثقة بطريقة bootstrap، واختبار الإجهاد leave-one-family-out، الذي تُستبعد فيه عائلة تهديد كاملة من التدريب للتحقق من قدرة النظام على التعميم.
ماذا يعني ذلك؟
يتحول أمان نماذج LLM من فحص الرسائل المنفردة إلى تحليل مسار الحوار بأكمله. وتصبح الهجمات متعددة الأدوار، التي يتجمع فيها الضرر من أجزاء تبدو بريئة، فئةً مستقلة من التهديدات قابلة للقياس، مع معيار يتجاوز 2000 جلسة ومقاييس يمكن اعتمادها لرصدها.
أسئلة شائعة
ما المقصود بـ Conversational Risk Accumulation؟
هو تراكم المخاطر أثناء الحوار مع LLM، حين تتجمع رسائل بريئة كلٌّ على حدة لتصبح ضررًا: تنجرف النية، أو تُجمَّع تعليمات محظورة على أجزاء، أو تتراكم بيانات حساسة عبر إفصاحات متكررة.
ماذا يتضمن معيار CRA-Bench؟
تضم CRA-Bench v0.1 ما مقداره 1200 جلسة من ثمانية أدوار في ثلاث عائلات من التهديدات، مع «توائم» بريئة مختارة بحسب الموضوع. وتضيف النسخة v0.2 صيغًا أعاد نموذج آخر صياغتها، وتضم المجموعة الموسّعة 2000 جلسة وخمس عائلات من التهديدات.
بمَ يختلف CRA-Net عن المرشّح البسيط؟
CRA-Net DA نموذج مدمج قابل للتدريب، يحلل مسار الجلسة كاملًا لا الرسالة المنفردة، وقد دُرِّب بأهداف family-adversarial حتى لا يخلط بين طول المحادثة واتساع مواضيعها وبين التهديد الحقيقي.
أسئلة وأجوبة حول الخبر
لماذا تفوّت أنظمة الحماية المعتادة الضرر؟
تقيّم معظم أنظمة الأمان الخاصة بنماذج LLM كل زوج «طلب-ردّ» بمعزل عن غيره، ولذلك لا تلاحظ الهجمات التي تتشكل تدريجيًا، دورًا بعد دور. ويطلق المؤلفون على هذه الظاهرة اسم Conversational Risk Accumulation (CRA)، ويحددون ثلاثة أشكال لتراكم المخاطر: ينحرف الحوار تدريجيًا عن موضوع بريء، أو تُجمَّع تعليمات محظورة قطعةً قطعة من رسائل منفصلة، أو تتراكم بيانات حساسة عبر إفصاحات متكررة. «الأدوار البريئة كلٌّ على حدة تتجمع لتصبح ضررًا»، هكذا يصوغ المؤلفون جوهر المشكلة في ملخص الورقة على arXiv.
ماذا يتتبع إطار CRA؟
يعمل CRA Framework على مستوى الجلسة، ويراقب ثلاث إشارات في مسار الحوار. الأولى هي الانجراف الدلالي عن «مرساة» الجلسة، أي مدى ابتعاد المحادثة عن موضوعها الأصلي. الثانية هي رسم بياني لتراكم المعلومات يُبنى على الكيانات المستخرجة ويُوزن بحسب حساسيتها. الثالثة هي «تدرّج الانقياد»، وهو إشارة إلى تنامي استعداد النموذج لتنفيذ طلبات تزداد خطورة. أبرز الحقائق في الورقة: المصطلح: Conversational Risk Accumulation (CRA)، ويشمل انجراف النية، وتجميع التعليمات المحظورة على أجزاء، وتراكم الحساسية ثلاث إشارات: الانجراف الدلالي، والرسم البياني لتراكم المعلومات، وتدرّج الانقياد طريقتان للتقيي
كيف قيست الفعالية؟
أصدر المؤلفون ثلاث نسخ من المعيار دفعة واحدة. تضم CRA-Bench v0.1 ما مقداره 1200 جلسة من ثمانية أدوار في ثلاث عائلات من التهديدات، وقد اختير لكل جلسة ضارة «توأم» بريء في الموضوع نفسه. أما CRA-Bench v0.2 فتحتوي السيناريوهات نفسها بعد إعادة صياغتها بواسطة LLM آخر لإزالة الآثار القالبية. وتوسّع المجموعة الموسّعة الحجم إلى 2000 جلسة وخمس عائلات. وللتقييم اقترح الباحثون بروتوكولًا «مساريًا» يقسّم البيانات على مستوى الجلسات، ويضم: Trajectory AUROC، ومقياس turns-to-detection (عدد الأدوار التي يحتاجها النظام لاكتشاف الهجوم)، ومؤشرات معايَرة للإنذارات الكاذبة، وفترات ثقة بطريقة boots
ماذا يعني ذلك؟
يتحول أمان نماذج LLM من فحص الرسائل المنفردة إلى تحليل مسار الحوار بأكمله. وتصبح الهجمات متعددة الأدوار، التي يتجمع فيها الضرر من أجزاء تبدو بريئة، فئةً مستقلة من التهديدات قابلة للقياس، مع معيار يتجاوز 2000 جلسة ومقاييس يمكن اعتمادها لرصدها.
Access Frontier LLMs & Multimodal AI in One Workspace
Discover NomadNet AI (nomadnet.ai) — unified access to frontier language models, research synthesis, and multimodal workflows.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.