Evidence Chain Evaluation: السماح لمدقّق حقائق قائم على الذكاء الاصطناعي بالإجابة «لست متأكدًا» بدل إصدار أحكام خاطئة

نشر باحثون على arXiv في 23 يوليو 2026 إطار Evidence Chain Evaluation (ECE)، وهو نظام للتحقق من الحقائق يمكنه الإجابة بـ«لست متأكدًا» بدل الاختيار الإجباري بين «صحيح/خاطئ»، ويحافظ على دقة 97,8% في الادعاءات التي يُصدر بشأنها حكمًا.

ما هو Evidence Chain Evaluation

Evidence Chain Evaluation هو إطار للتحقق الانتقائي من الحقائق: فهو يتيح لوكيل الذكاء الاصطناعي الامتناع عن إصدار قرار عندما تكون الأدلة ضعيفة أو مشتتة أو متناقضة. والنظام الخاضع للتقييم وكيل مزوّد بأدوات، يجمع الأدلة عبر البحث على الويب والبحث العلمي وعمليات التحقق القابلة للتنفيذ، ثم يعيد حكمًا منظمًا مصحوبًا بتقدير للثقة وبيانات وصفية عن المصادر.

• الدقة في الادعاءات المُجاب عنها (selective accuracy) — 97,8% على معيار ECE-Bench
• الدقة القياسية — 91,6%، والتغطية — 93,7%
• أرجأ النظام 6 ادعاءات من أصل 95 بدل التخمين
• 5 من أصل 6 حالات مؤجلة تعلقت بمصادر من أدنى مستويات الموثوقية (المستوى L4)
• أدوات الوكيل — البحث على الويب، والبحث العلمي، وعمليات التحقق القابلة للتنفيذ؛ والشيفرة مفتوحة على GitHub

لماذا يهمّ الحق في التزام الصمت

يمكن للنماذج اللغوية الكبيرة أن تُظهر دقة عالية في التحقق من الحقائق، لكن الاختيار الثنائي الإجباري يخفي مشكلة في الموثوقية: إذ يُصدر النظام حكمًا واثقًا حتى حين تكاد الأدلة تنعدم أو تتناقض. ويعالج ECE ذلك عبر حكم «uncertain»، وهو امتناع يتفعّل تحديدًا في مناطق الأدلة الضعيفة، بدل أن يتوزع عشوائيًا على جميع الادعاءات.

ويشكّل تركّز حالات الامتناع في المناطق غير الموثوقة الحجة الرئيسية للمؤلفين. فبحسب الورقة، تعلقت 5 من أصل 6 حالات مؤجلة بمصادر من أدنى مستويات الموثوقية (L4). وهذا يؤكد أن الامتناع يعمل كصمام أمان، لا كوسيلة للتهرب من الأسئلة الصعبة.

«يعمل الامتناع كآلية موجَّهة نحو السلامة للتعامل مع الأدلة الضعيفة

معرفيًا»، كما جاء في الورقة المنشورة على arXiv.

أين يتخلف ECE عن الطرق الأساسية

لا يتفوق ECE على أقوى خط أساس قائم على البحث في مقاييس المعايرة المجمّعة، وهي Expected Calibration Error وBrier score وAURC. ويقرّ المؤلفون بذلك صراحةً. أما ميزة ECE فمن نوع آخر: إذ يقدّم مقايضة واضحة في التنبؤ الانتقائي، تتمثل في دقة مرتفعة جدًا في الادعاءات المُجاب عنها، مقابل الامتناع عن 6 حالات فقط من أصل 95.

بعبارة أخرى، يضحّي ECE بالشمولية لصالح الموثوقية حيث يكون ذلك حاسمًا. وفي التحقق من الحقائق، حيث يكون الحكم الخاطئ الواثق أخطر من «لا أعرف» الصريحة، كثيرًا ما تكون هذه المقايضة مبرَّرة.

ماذا يعني ذلك

قدرة نظام الذكاء الاصطناعي على الاعتراف بصدق بنقص الأدلة خطوة عملية نحو بناء الثقة في التحقق الآلي من الحقائق. ويُظهر ECE أنه يمكن دمج امتناع معايَر في الوكيل وتوجيهه تحديدًا إلى حيث تكون المصادر في أضعف حالاتها، دون أن ينهار مستوى الدقة العام.

الأسئلة الشائعة

ما هو Evidence Chain Evaluation؟

هو إطار للتحقق الانتقائي من الحقائق، يمكن فيه لوكيل الذكاء الاصطناعي أن يعيد حكم «لست متأكدًا» بدل الاختيار الإجباري بين «صحيح/خاطئ». يجمع النظام الأدلة عبر البحث على الويب والبحث العلمي وعمليات التحقق القابلة للتنفيذ، ويرفق بالحكم تقديرًا للثقة وبيانات وصفية عن المصادر.

ما مدى دقة ECE؟

على معيار ECE-Bench، حقّق النظام دقة بلغت 97,8% في الادعاءات المُجاب عنها، و91,6% في الدقة القياسية، و93,7% في التغطية، مع إرجاء 6 ادعاءات من أصل 95.

أين يمكن الحصول على شيفرة ECE؟

شيفرة الإطار مفتوحة: فقد نشرها المؤلفون في المستودع cheshireyang/ECE على GitHub.