Как измерить остаточный риск автономных ИИ-агентов: фреймворк CPSAINT и FRIESA-K
Исследователи в июле 2026 года представили на arXiv фреймворк для количественной оценки остаточного риска ИИ-агентов. CPSAINT раскладывает агента на семь слоёв целостности — от физического состояния и сенсоров до среды и времени, а FRIESA-K переводит каждый путь отказа в конкретное число, выводя эффективность контроля из марковской модели, а не из экспертной оценки «на глаз».
معالج بواسطة الذكاء الاصطناعي من arXiv cs.AI؛ بتحرير Hamidun News
في يوليو 2026، نشر باحثون على arXiv إطار عمل لتقييم كمي للخطر المتبقي للذكاء الاصطناعي الوكيلي (agentic AI) — مزيج من نموذجين هما CPSAINT وFRIESA-K، يترجم كل سيناريو فشل لعميل مستقل إلى قيمة رقمية محددة للخطر.
ما المشكلة التي يحلها المؤلفون
يحصل الذكاء الاصطناعي الوكيلي على وصول إلى إجراءات حقيقية — الطلبات، المدفوعات، التحكم في الروبوتات — بوتيرة أسرع مما تستطيع أساليب تقييم المخاطر مواكبته. وبحسب صياغة المؤلفين، لا تقدم المقاربات الحالية سوى نصف الصورة من نصفين ممكنين: بعضها يصف آليات الفشل لكن دون تقديم تقدير قابل للنقل للخطر المتبقي؛ وبعضها الآخر يحسب الخطر لكنه يتعامل مع المسار الداخلي للفشل باعتباره صندوقًا أسود.
«يتجاوز الذكاء الاصطناعي الوكيلي حدود الثقة بوتيرة أسرع مما تستطيع
نماذج الخطر الحالية وصفه» — هكذا صاغ المؤلفون الأمر في ملخص الدراسة المنشورة على arXiv.
يجمع CPSAINT وFRIESA-K بين وجهتي النظر: أولًا يُفكِّكان النظام إلى طبقات يمكن أن يحدث فيها العطل، ثم يربطان كل مسار فشل صالح بتقدير رقمي محدد بدقة للخطر. ويسمي المؤلفون هذا بالتركيبية البنيوية (structural composability) — رابط شكلي بين مسار فشل صحيح و«حالة خطر» محددة بوضوح.
من ماذا يتكون إطار العمل
CPSAINT هو تفكيك من سبع طبقات لسلامة العميل (agent integrity)، حيث تكون كل طبقة مسؤولة عن منطقة منفصلة يمكن أن تُنتهك فيها سلامة النظام. ومع دالة FRIESA-K، يشكّلان معًا مسارًا "من الآلية إلى المقدار" من أجل ذكاء اصطناعي وكيلي ومجسّد (embodied) قادر على الصمود.
- الطبقات السبع لـCPSAINT: الحالة الفيزيائية، أجهزة الاستشعار، البيانات، الحوسبة، المشغّلات، البيئة، والزمن
- FRIESA-K — دالة الخطر المتبقي: يُترجم كل مسار فشل إلى تقدير رقمي
- حد المقاومة K يُشتق من نموذج ماركوف ماص خاضع للتحكم، بدلًا من أن يُحدَّد "بالتقدير"
- قابلية ملاحظة الحوكمة (governance) تُحتسب كعقوبة إضافية منفصلة، وليس كمتغير جديد داخل الدالة
- التحقق — على سيناريوهين متباينين: روبوت مستودع وعميل مالي
لماذا يهم حد المقاومة K
السمة المميزة الأساسية لـFRIESA-K هي كيفية حساب "المقاومة" K، أي فعالية وسائل التحكم. فبدلًا من تقدير خبير غير رسمي، يربط المؤلفون K بديناميكية حالات النظام عبر نموذج ماركوف ماص خاضع للتحكم. وبذلك تُشتق فعالية التحكم من كيفية انتقال النظام فعليًا بين الحالات و"امتصاصه" بواسطة الفشل، لا من درجة ذاتية. أما قابلية ملاحظة الحوكمة فتُفرد في عقوبة إضافية منفصلة — كي لا تُخلط قابلية إدارة النظام بصلابته التقنية، ولا يحل أحدهما محل الآخر داخل الصيغة نفسها.
أين اختُبر إطار العمل
شُغِّل إطار العمل على سيناريوهين مختلفين عمدًا: روبوت مستودع يعمل بزمن حقيقي صارم، وعميل مالي مزوَّد بأدوات حوكمة. وبحسب المؤلفين، في كلتا الحالتين حُفظت القواعد نفسها للطبقات السبع، ودلالة المتغيرات نفسها، وبنية المقاومة الديناميكية نفسها. أي أن الجهاز "الأساسي" نفسه يصف كلًا من الروبوت الفيزيائي ذي المتطلبات الزمنية الصارمة، والعميل البرمجي الخالص في الخدمات المالية — دون إعادة اختراع النموذج لكل مجال.
ماذا يعني هذا
يقدّم هذا العمل نواة مدمجة تربط آلية الفشل بمقدار خطره، وتتيح التفكير في الثقة بالعملاء عبر مجالات مختلفة بلغة مشتركة. وبالنسبة لصناعة يحصل فيها عملاء الذكاء الاصطناعي بشكل متزايد على وصول إلى الأموال والإجراءات الفيزيائية، فإن تقديرًا قابلًا للنقل والتحقق للخطر المتبقي يمثل خطوة من "درجات أمان" غامضة نحو أرقام تستند إلى ديناميكية الحالات، لا إلى الحدس الخبراتي.
هل تحتاج إلى ذكاء اصطناعي يعمل داخل شركتك — وليس فقط في موجز الأخبار؟
أبني ذكاءً اصطناعياً جاهزاً للإنتاج للشركات — أنظمة CRM مخصّصة، أدوات داخلية، وكلاء مستقلون، أتمتة سير العمل. ملك لك، مصمّم وفق عمليتك، دون رسوم لكل مستخدم. من إعداد جمال خميدون، مدير المنتجات في AlpinaGPT (منصة ذكاء اصطناعي، أكثر من 6000 مستخدم).
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.