ورشة مجانية 21–22.11ورشة مجانية لمدة يومين في Vibecoding يومي 21–22 نوفمبر الساعة 16:00 بتوقيت موسكو · الدفعة 3 تبدأ 23.11سجّل مجاناً ←الدفعة 3 (23.11)
إصدارتحليل · على الرادارAi2 (Allen Institute)→ المصدر

Ai2 تطلق FairStress: عند الإشارة الصريحة إلى الفئة تتخلى نماذج LLM عن الإجابة الصحيحة بنسبة أعلى بمقدار 9.3 نقطة مئوية

أطلق معهد Ai2 اختبار FairStress، وهو اختبار يقيس مدى سهولة إقناع نماذج LLM بتغيير قراراتها المتعلقة بالأشخاص. مثال على ذلك: المرشح A أقوى بوضوح، لكن عبارة «المدير يوصي بالمرشح B» تؤثر بشكل مختلف باختلاف الحالة. وبلغ متوسط الفجوة بين الفئات في التخلي عن الإجابة الصحيحة 6.9 نقطة مئوية عند التلميح إلى الفئة، و9.3 نقطة عند الإشارة الصريحة إليها، وذلك في 15 نموذجًا. وفي مجالات التوظيف والإقراض، ينبغي التحقق من ثبات القرار، لا من تطابق الإجابات فحسب.

معالج بواسطة الذكاء الاصطناعي من Ai2 (Allen Institute)؛ بتحرير Hamidun News
Ai2 تطلق FairStress: عند الإشارة الصريحة إلى الفئة تتخلى نماذج LLM عن الإجابة الصحيحة بنسبة أعلى بمقدار 9.3 نقطة مئوية
المصدر: Ai2 (Allen Institute). كولاج: Hamidun News.
استمع للمقال
بطاقة الحقائق والأرقام
المعيارالتفاصيل
المصدر الأصليAi2 (Allen Institute) ↗
رئيس التحرير
حقيقة رئيسية #1300 سيناريو في 29 مجالًا تنتج أكثر من 13 مليون اختبار، ونسخة Core المخففة تضم 50 ألف اختبار
حقيقة رئيسية #2اختار Claude Opus 5 وGPT-5.5 المرشح من الأقلية في 60–65% من الحالات الخلافية
حقيقة رئيسية #3اختبار BBQ، القائم على احتمالات الخيارات، يغفل الانحياز الذي يظهر في الإجابات المولَّدة

تخيّل أنك دمجت نموذج LLM في عملية فرز السير الذاتية. اختبرته بالطريقة المعتادة: أخذت سيرتين ذاتيتين متطابقتين، وغيّرت عِرق المرشح، فاختار النموذج الشخص نفسه في الحالتين. يبدو ذلك عملًا نزيهًا. لكن معهد Ai2 أظهر أن هذا الاختبار يخفي تفصيلًا مهمًا: فقد يختار النموذج بشكل صحيح في النسختين، لكن إقناعه بالتخلي عن اختياره أسهل بكثير في إحداهما. ولقياس هذا اللاتناظر أطلق Ai2 اختبار FairStress. يمكن تنزيله، ويندمج في أداة Ai2 المفتوحة المصدر لتشغيل تقييمات النماذج ومقارنتها.

يعني الاختصار «п.п.» هنا، وفي ما يلي من النص، النقطة المئوية، أي الفرق بين نسبتين. فلو كانت إحدى فئات المرشحين تُزيح الإجابة الصحيحة في 20% من الحالات، والفئة الأخرى في 10.7%، لبلغت الفجوة 9.3 نقطة مئوية. وبهذه الطريقة يقيس Ai2 الانحياز.

كيف صُمّم الاختبار: اختيار ثم ضغط

السيناريو بسيط. المرشح A أقوى بوضوح من المرشح B، ويختار النموذج A سواء كان أسود أو أبيض. ثم تُضاف إلى الموجِّه عبارة مقنعة، مثل: «اطّلع المدير شخصيًا على الملفات وأوصى بالمرشح B». ولكل عبارة من هذه العبارات نسخة معكوسة لصالح المرشح الآخر. وهذا يتيح التحقق مما إذا كانت الحجّة نفسها تؤثر بالقدر نفسه بحسب الفئة التي تكسب.

يضم الاختبار 300 سيناريو واقعي للاختيار بين خيارين في 29 مجالًا: التوظيف، والإقراض، والطب، والتعليم، والسكن، والعدالة الجنائية. مثال ذلك: أي مريضين يُمنح آخر جرعة من دواء شحيح. في بعض السيناريوهات يكون أحد المرشحين أقوى بوضوح. وفي سيناريوهات أخرى يتميز كلاهما بجوانب مختلفة، ولا يوجد متفوق موضوعي.

تُقدَّم الهوية على أربعة مستويات: دون ذكرها، وعبر الاسم، وعبر تلميح غير مباشر، وعبر إشارة صريحة. ومع احتساب البادئات يبلغ العدد أكثر من 13 مليون اختبار. وللتشغيلات السريعة توجد نسخة FairStress-Core بـ50 ألف مثال، اختيرت بأسلوب نظرية استجابة المفردة (item response theory).

ما الذي وجده الباحثون

عند غياب البيانات الديموغرافية تتصرف النماذج بشكل متقارب جدًا: تختار المرشح القوي بالتكرار نفسه، وتوزع اختياراتها في الحالات الخلافية بالتساوي تقريبًا. وكلما كانت الفئة مذكورة بوضوح أكبر، زاد الانحياز. فإذا كان المرشح من الفئة «المتمتعة بامتيازات نسبيًا» (أبيض، ذكر، غيري) هو الأقوى، وطلبت البادئة اختيار المرشح الأضعف من الأقلية، فإن النموذج يبتعد عن الإجابة الصحيحة بوتيرة أعلى. وفي الحالة المعكوسة يصمد بشكل أقوى. ويسمي Ai2 هذه الظاهرة «التصحيح المفرط المضاد للقوالب النمطية».

وعلى مستوى 15 نموذجًا، بلغ متوسط الفجوة 6.9 نقطة مئوية عند التلميح غير المباشر إلى الهوية، و9.3 نقطة عند الإشارة الصريحة. والنماذج الرائدة ليست استثناءً. ففي الحالات الغامضة اختار Claude Opus 5 وGPT-5.5 المرشح من الأقلية في نحو 60–65% من الحالات. وتحت البادئات المعكوسة كان التحول نحو الأقلية أكثر تكرارًا بمقدار 8.8–42.4 نقطة مئوية (في 12 تشغيلة من نوع «نموذج + نمط»).

وتختلف التعليلات أيضًا. ففي 11 نموذجًا مفتوحًا، كانت مبررات اختيار المرشحين من الأقليات تحتوي بوتيرة أعلى على كلمات مثل «الصمود» و«التنوع» و«العوائق»، بينما اعتمدت مبررات اختيار مرشحي الأغلبية بوتيرة أعلى على «الأدلة» و«المعايير». أي أن النموذج قد يختار هذا المرشح بسهولة أكبر، لكنه يعترف بكفاءته بدرجة أقل.

كما توجد نظرة إلى داخل النماذج. ففي Gemma-3-12B-it وQwen2.5-7B-Instruct جرى تخمين الجانب المختار من التنشيطات الداخلية بدقة نحو 73%، ومن الأوصاف النصية لهذه التنشيطات بدقة 57–59% عند مستوى عشوائي قدره 50%. وعند إزالة أسماء المرشحين انخفضت الدقة المستندة إلى التنشيطات بنحو 18 نقطة مئوية. ويصف المؤلفون أنفسهم هذا الجزء بأنه ضيق النطاق: نموذجان فقط، وتباينات قليلة.

لماذا يُظهر BBQ نتيجة مختلفة

قارن Ai2 اختبار FairStress باختبار BBQ الشائع، الذي تميل فيه النماذج عادةً إلى الإجابات النمطية. وتبيّن أن سبب التباين يكمن في المنهجية. فالنسخة التي جرى فحصها من BBQ تقيّم احتمالات خيارات إجابة ثابتة، أما FairStress فيطلب من النموذج أن يولّد اختياره بنفسه، كما في المحادثة العادية.

وأُجريت أسئلة BBQ نفسها على أربعة نماذج في خمس تهيئات: مع قالب الدردشة، وبصيغة «نعم/لا»، وبتوليد الإجابة. فانتقلت Qwen2.5-7B-Instruct وGemma-3-27B-it وLlama-3.1-70B-Instruct من الإجابات النمطية إلى انحياز لصالح الأقليات. أما Llama-3.1-8B-Instruct فصارت محايدة تقريبًا. وهذا يعني أن اتجاه الانحياز المقيس يعتمد جزئيًا على طريقة صياغة السؤال وطريقة تقييم الإجابة.

ما العمل عمليًا

إذا كنت تبني أنظمة لتصنيف السير الذاتية أو سيناريوهات الإقراض أو الطب على نماذج LLM، فلا يكفي اختبار «غيّرنا الاسم وتطابقت الإجابة». أضف فحص الثبات: إلى أي مدى يسهل أن يتخلى النموذج عن قرار مبرَّر تحت ضغط حجّة ما، وهل يحدث ذلك بالقدر نفسه لمختلف الفئات. وقيّم الإجابات المولَّدة واحتمالات الخيارات معًا، وإلا فقد يمرّ التصحيح المفرط دون أن يُلاحَظ.

وللدراسة حدودها. فاختبار FairStress يفهم العدالة بوصفها مساواة: عند تساوي بقية العوامل تكون الفرص واحدة، ويكون القرار المبرَّر ثابتًا بالقدر نفسه لأي فئة. أما نهج قائم على الإنصاف (equity) فقد يأخذ في الحسبان التمييز التاريخي، ويعدّ تفضيل المرشح من الأقلية أمرًا مقبولًا. ويقول Ai2 صراحةً إن الاختبار لا يغطي جميع تصورات العدالة.

القصة

أسئلة وأجوبة حول الخبر

ما أبرز التفاصيل حول كيف صُمّم الاختبار: اختيار ثم ضغط؟

السيناريو بسيط. المرشح A أقوى بوضوح من المرشح B، ويختار النموذج A سواء كان أسود أو أبيض. ثم تُضاف إلى الموجِّه عبارة مقنعة، مثل: «اطّلع المدير شخصيًا على الملفات وأوصى بالمرشح B». ولكل عبارة من هذه العبارات نسخة معكوسة لصالح المرشح الآخر. وهذا يتيح التحقق مما إذا كانت الحجّة نفسها تؤثر بالقدر نفسه بحسب الفئة التي تكسب. يضم الاختبار 300 سيناريو واقعي للاختيار بين خيارين في 29 مجالًا: التوظيف، والإقراض، والطب، والتعليم، والسكن، والعدالة الجنائية. مثال ذلك: أي مريضين يُمنح آخر جرعة من دواء شحيح.

ما أبرز التفاصيل حول ما الذي وجده الباحثون؟

عند غياب البيانات الديموغرافية تتصرف النماذج بشكل متقارب جدًا: تختار المرشح القوي بالتكرار نفسه، وتوزع اختياراتها في الحالات الخلافية بالتساوي تقريبًا. وكلما كانت الفئة مذكورة بوضوح أكبر، زاد الانحياز. فإذا كان المرشح من الفئة «المتمتعة بامتيازات نسبيًا» (أبيض، ذكر، غيري) هو الأقوى، وطلبت البادئة اختيار المرشح الأضعف من الأقلية، فإن النموذج يبتعد عن الإجابة الصحيحة بوتيرة أعلى. وفي الحالة المعكوسة يصمد بشكل أقوى. ويسمي Ai2 هذه الظاهرة «التصحيح المفرط المضاد للقوالب النمطية».

ما أبرز التفاصيل حول لماذا يُظهر BBQ نتيجة مختلفة؟

قارن Ai2 اختبار FairStress باختبار BBQ الشائع، الذي تميل فيه النماذج عادةً إلى الإجابات النمطية. وتبيّن أن سبب التباين يكمن في المنهجية. فالنسخة التي جرى فحصها من BBQ تقيّم احتمالات خيارات إجابة ثابتة، أما FairStress فيطلب من النموذج أن يولّد اختياره بنفسه، كما في المحادثة العادية. وأُجريت أسئلة BBQ نفسها على أربعة نماذج في خمس تهيئات: مع قالب الدردشة، وبصيغة «نعم/لا»، وبتوليد الإجابة. فانتقلت Qwen2.5-7B-Instruct وGemma-3-27B-it وLlama-3.1-70B-Instruct من الإجابات النمطية إلى انحياز لصالح الأقليات.

ZK
جمال حميدون — مدير المنتجات في Alpina Digital ومدير منتج AlpinaGPT. يبني منتجات الذكاء الاصطناعي منذ 2019. بدأ Hamidun News كمشروع شخصي ثم أصبح مُجمِّعًا إنتاجيًا بأكثر من 6000 قارئ.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
ما رأيك؟
جارٍ تحميل التعليقات…