D2VBench: معيار من 10 000 معضلة يختبر المواءمة القيمية في نماذج LLM

قدّم باحثون في يوليو 2026 على arXiv معيار D2VBench، وهو أداة لتقييم المواءمة القيمية (value alignment) في نماذج اللغة الكبيرة عبر 10 000 معضلة يومية، ويعتمد على 158 مفهومًا قيميًا جرى وسمها يدويًا.

ما الذي يختبره D2VBench

يقيّم D2VBench القيم التي تقف وراء إجابات النموذج حين تتصادم عدة مبادئ في موقف يومي واحد، مثل الصدق مقابل الرعاية، أو المصلحة الشخصية مقابل الصالح العام. وبحسب المؤلفين، لم تغطِّ مجموعات الاختبار السابقة هذا النوع من التعارضات متعددة العوامل بصورة كافية، واعتمدت على صيغ تقييم مبسّطة أكثر مما ينبغي.

جرى بناء كل سيناريو من السيناريوهات العشرة آلاف على مراحل، عبر تعاون بين نماذج لغوية ومُوسِّمين بشريين. ويقوم المعيار على 158 مفهومًا قيميًا دقيق التصنيف (fine-grained) جرى وسمها يدويًا، ما يتيح ربط استجابة النموذج بفئة قيمية محددة بدلًا من ربطها بمفهوم عام هو «الأخلاقية».

• الحجم: 10 000 سيناريو لمعضلات يومية واقعية
• أساس الوسم: 158 مفهومًا قيميًا وُسمت يدويًا
• البناء: تعاون متعدد المراحل بين LLM والبشر
• التقييم: مزيج من الأسئلة المغلقة (multiple-choice) والمفتوحة (open-ended)
• النطاق: اختُبرت 8 نماذج LLM شائعة
• البيانات: مجموعة البيانات متاحة على GitHub (tjunlp-lab/D2VBench)

كيف يعمل التقييم

يقوم التقييم في D2VBench على نهج هجين: أسئلة مغلقة ذات خيارات إجابة تُدمج مع أسئلة مفتوحة يصوغ فيها النموذج إجابته بحرية. وبحسب تصور المؤلفين، لا يكتفي هذا الشكل برصد الاختيار «الصحيح»، بل يكشف أيضًا كيف يبرّر النموذج قراره وكيف يرتّب أولوياته بين القيم المتعارضة.

اختبر المؤلفون 8 نماذج لغوية شائعة عبر هذا المعيار. ووفق بياناتهم، يُظهر D2VBench موثوقية وثباتًا عاليين، ويعكس مستوى مواءمة النماذج عبر فئات وأبعاد قيمية مختلفة، أي أنه يقدّم صورة أكثر تفصيلًا من التقييم الثنائي «أخلاقي أم لا».

«لا تغطي المعايير الحالية بما يكفي المعضلات القيمية في السيناريوهات

اليومية التي تتضمن تعارضات متعددة بين القيم، وتستخدم صيغ تقييم مبسّطة»، بحسب ما ورد في ورقة مؤلفي D2VBench على arXiv.

لماذا يهم ذلك

تزداد أهمية المواءمة القيمية كلما دخلت نماذج LLM في سيناريوهات الحياة اليومية الفعلية، من نصائح الصحة إلى النزاعات العائلية ونزاعات العمل. ووفق وصف المعيار على arXiv، صُمّم D2VBench ليكون أداة أكثر واقعية وتفصيلًا للبحث في هذا المجال: فهو لا يعرض درجة «أمان» متوسطة، بل يعرض سلوك النموذج على محاور قيمية محددة.

ويعني نشر مجموعة البيانات علنًا على GitHub أن بإمكان فرق أخرى إعادة إنتاج النتائج وتمرير نماذجها الخاصة عبر المعضلات العشرة آلاف، لا النماذج الثمانية التي اختبرها المؤلفون فقط. كما يتيح التقسيم وفق 158 مفهومًا وصيغتَي الأسئلة مقارنة النماذج بحسب ملف سلوكها القيمي، لا بحسب رقم واحد.

ماذا يعني ذلك

ينقل D2VBench النقاش حول «أمان» الذكاء الاصطناعي من نطاق التصريحات العامة إلى شبكة قابلة للقياس من 158 مفهومًا قيميًا. وبالنسبة للمطورين، فهو وسيلة لمعرفة أين بالضبط يتعثر النموذج عند تعارض القيم، بدلًا من الاكتفاء بدرجة إجمالية واحدة.

الأسئلة الشائعة

ما هو D2VBench؟

D2VBench هو معيار لتقييم المواءمة القيمية لنماذج اللغة الكبيرة، ويتألف من 10 000 سيناريو لمعضلات يومية، ويستند إلى 158 مفهومًا قيميًا جرى وسمها يدويًا.

كم عدد السيناريوهات في D2VBench؟

يضم المعيار 10 000 سيناريو لمعضلات يومية واقعية، جرى بناء كل منها على عدة مراحل بمشاركة نماذج لغوية ومُوسِّمين بشريين.

أين يمكن تنزيل مجموعة بيانات D2VBench؟

مجموعة البيانات متاحة للعموم على GitHub في المستودع tjunlp-lab/D2VBench، ويمكن استخدامها لاختبار نماذجك الخاصة.