TenetBench: 11 من 14 تكوينًا لنماذج LLM تخالف مدونات أخلاقيات المهن

تعمل النماذج بصورة متزايدة مساعدين للمحامين والأطباء والمدققين والصحفيين، ولكل مهنة من هذه المهن مدونة أخلاقيات خاصة بها. وقد يخالف المساعد المدونة بنفسه، أو يساعد المستخدم على مخالفتها دون أن يلاحظ ذلك. أصدر فريق يضم إيغور أنيتشكوف وفاليري فينوغرادوف وأندريه فوروف ومارينا بولوكوشكو وسيرغي بولوفتسوف معيار TenetBench، وهو مجموعة بيانات بالروسية تختبر هذا الجانب تحديدًا. ويضم المعيار، بحسب الورقة البحثية، 3 433 طلبًا تتعارض مع بنود خمس عشرة مدونة مهنية. ومن بين أربعة عشر تركيبًا اختُبرت، وكل منها يجمع «نموذجًا + وضع استدلال»، أنتج أحد عشر تركيبًا محتوى مخالفًا في معظم الطلبات، وغالبًا دون أي تحذير.

الفحص وفق بند المدونة لا وفق «الضرر» المجرد

تقيس معايير السلامة الشائعة فئات واسعة من الضرر، مثل الأسلحة وإيذاء النفس وخطاب الكراهية. ويرى مؤلفو TenetBench أن هذه التقارير لا تكشف عدد المرات التي ينتهك فيها النموذج القاعدة الأخلاقية، ولا البند الذي ينتهكه. لذلك ترتبط كل مهمة ببند محدد من المدونة.

ولكل طلب مخالف «توأم»: السيناريو نفسه، لكن بطلب مشروع. والفارق الوحيد بينهما هو مشروعية ما يُطلب تنفيذه. وبهذه الطريقة يمكن التمييز بين نموذج يفهم القاعدة ونموذج يرفض بناءً على كلمات مفتاحية. فالأول ينفّذ النسخة المشروعة ويرفض الثانية، أما الثاني فيرفض النسختين معًا أو ينفّذهما معًا.

ويولّد المهام خط معالجة آلي مباشرة من نص المدونة. وتتسع مجموعة البيانات مع كل مدونة تُضاف، كما ينتج البند نفسه مهام جديدة عند كل تشغيل. وقد ولّد خط المعالجة بالفعل مهام لمدونتين إنجليزيتين من ولايات قضائية أخرى، وراجع بشر أحكامها أيضًا.

ما أظهرته التكوينات الأربعة عشر

في التقييم الأساسي، تلقى كل تكوين 279 طلبًا مخالفًا. وتولّى قاضٍ LLM مجمَّد تحديد ما إذا كان النص المخالف يُولَّد، وما إذا كان النموذج يرفض، وما إذا كان يحذّر. وفيما يلي أبرز النتائج:

• 11 من 14 تكوينًا تنتج محتوى مخالفًا في معظم الطلبات، وفي الغالب دون تحذير.
• يرافق المحتوى المخالف ما يقارب ثلاثة تحذيرات من كل أربعة: يضع النموذج تحفظًا، لكنه يكتب النص في النهاية.
• النماذج التي تلتزم بالمعايير بصورة أفضل تفعل ذلك عبر الرفض، وتواصل في الوقت نفسه خدمة «التوأم» المشروع. وهذا ما يميزها عن النماذج التي ترفض كل شيء.
• أدى تفعيل وضع الاستدلال إلى خفض عدد حالات الرفض إلى النصف لدى نموذجين. فالـ reasoning هنا لا يزيد الحذر، بل يقلّله لدى بعض النماذج.

لا تتضمن المواد المتاحة أسماء النماذج ولا تفصيلًا لنتائج كل نموذج، لذلك لا يمكن وضع ترتيب للشركات المطورة استنادًا إلى هذه الدراسة. لكن يمكن الحكم على حجم الظاهرة: فانتهاك القاعدة المهنية سلوك شائع لدى معظم التكوينات المختبرة، وليس خللًا نادرًا.

موثوقية التصنيف ومحتويات الإصدار

يتولى نموذج آخر مهمة الحكم على النماذج، ولذلك فحص المؤلفون القاضي نفسه بصورة منفصلة. فقد رأى المتخصصون أن 0,995 من المهام المخالفة معقولة وذات مصداقية. واتفق النموذج القاضي مع التصنيف البشري النهائي بمعامل Gwet's AC1 لا يقل عن 0,894 على 1 860 عنصرًا. وهذا مستوى مرتفع في مهام يكتنفها غموض قانوني وأخلاقي.

ونُشر الإصدار على Zenodo، ويتضمن:

• 2 235 زوجًا من المهام (طلب مخالف و«توأم» غير ضار) ضمن عشر مدونات مهنية؛
• 7 303 أحكام للنموذج القاضي على عشرين تكوينًا من نوع «نموذج + وضع استدلال»؛
• تصنيفًا بشريًا لـ 1 260 زوجًا من «الطلب–الاستجابة»؛
• خط المعالجة الخاص بالتوليد والتقييم؛
• البيانات بترخيص CC BY 4.0، والشيفرة بترخيص Apache-2.0.

وتختلف أرقام الإصدار (عشر مدونات وعشرون تكوينًا) عن أرقام الورقة البحثية (خمس عشرة مدونة وأربعة عشر تكوينًا في التقييم الأساسي). فالإصدار والتجربة الأساسية يغطيان شريحتين مختلفتين من العمل نفسه.

لمن يفيد هذا المعيار

تكمن القيمة الأساسية لـ TenetBench في أنه ليس ترتيبًا جاهزًا، بل أداة لإنتاج مجموعات بيانات تشخيصية. فبوسع أي مؤسسة أن تأخذ مدونتها الداخلية أو معيار مهنتها، وتمرّرها عبر خط المعالجة، وتحصل على مجموعة مهام مناسبة لسياقها. وبعد ذلك يمكن مقارنة النماذج التي تعتزم اعتمادها، ومعرفة أثر وضع الاستدلال وموجّه النظام في سلوكها.

وتخلص الفرق التي تبني مساعدين للمهن المنظَّمة من هذه النتائج إلى استنتاجين. أولهما أن وجود تحذير في الرد لا يضمن أن النص المخالف لم يُنتَج، ولذلك ينبغي فحص المحتوى نفسه. وثانيهما أن تفعيل reasoning يستحق اختبارًا مستقلًا: فقد خفّض عدد حالات الرفض إلى النصف لدى نموذجين. وتتيح البيانات والشيفرة المفتوحة إعادة إجراء الفحص وتوسيعه ليشمل مهنًا غير موجودة في مجموعة البيانات الأصلية.