دراسة حول ChatGPT: هل يؤثر صيغة التأنيث في الطلب على جودة حل المسائل؟

أظهرت تجربة صغيرة لكنها مُحكمة التصميم أثراً مزعجاً: ففي GPT-5.4 mini، قد تُضعف صيغة الطلب «المؤنثة» باللغة الروسية جودة حل مسائل البرمجة قليلاً. فحين كان إطار الطلب لدى المستخدمة يختلف بعلامة جندرية واحدة فقط، أخطأ النموذج أكثر تحديداً في صيغة «я хотела бы твоей помощи» (أودّ الحصول على مساعدتك، بالمؤنث)، بينما أعطت الصيغتان المحايدة و«المذكرة» نتيجة متقاربة تقريباً. وفي المسائل البسيطة كاد الفارق يختفي، أما في المسائل الصعبة فبدا ذا دلالة إحصائية.

وكان دافع الفحص ملاحظة يومية لمهندسة أبحاث تعلّم آلي (ML research engineer)، لاحظت أن إجابات النموذج تصبح أقل دقة عندما تتسلل صيغ المؤنث إلى الحوار بالروسية، مثل «я уже попробовала» (جرّبتُ بالفعل) أو «я хотела бы» (أودّ). وحتى لا تكتفي بالانطباع الشخصي، صاغت السؤال بدقة: هل يغيّر تقديم النفس بعلامة جندرية باللغة الروسية جودة حل مسائل البرمجة الإنجليزية، إذا بقي كل شيء آخر في الطلب وفي صيغة الإجابة دون تغيير؟

اختير لهذا الاختبار LiveCodeBench، وهو اختبار شائع يضم مسائل من LeetCode وAtCoder وCodeforces، ويمكن التحقق من حلولها موضوعياً عبر اختبارات جاهزة. والفكرة المحورية في التجربة أن الفروق بين صيغ الطلب كانت في حدّها الأدنى. ففي النسخة المحايدة، طُلب من النموذج ببساطة المساعدة في حل مسألة بلغة Python. وفي النسخة «المذكرة» تغيّرت عبارة واحدة إلى «я хотел бы твоей помощи»، وفي النسخة «المؤنثة» إلى «я хотела бы твоей помощи». كما فُحص زوج ثانٍ من الصيغ المشابهة.

استُخدمت في المجمل 1055 مسألة من إصدار LiveCodeBench v6، وكانت معايير التشغيل صارمة قدر الإمكان: محاولة واحدة لكل مسألة، ودرجة حرارة 0، والمقياس الرئيسي هو pass@1، أي هل يحل النموذج المسألة من المحاولة الأولى. واختُبر نموذجان من OpenAI: GPT-5.4 mini وGPT-5.4. ولتقييم ثبات النتيجة، طُبّق bootstrap بـ 10 000 إعادة أخذ عينات وفاصل ثقة 95 في المئة.

في GPT-5.4 mini ظهر الأثر بوضوح نسبي. فقد سجّلت الصيغ المحايدة pass@1 بحدود 0,661–0,663، والصيغ «المذكرة» ما بين 0,660 و0,668، والصيغ «المؤنثة» 0,649–0,652. وبعد دمج صيغتَي الطلب، أعطى الفرق بين female وmale فاصل ثقة من -0,0265 إلى -0,0005، أي أنه لم يتجاوز الصفر. وبعبارة أخرى، التراجع صغير لكنه ليس عشوائياً من الناحية الإحصائية.

وبرز الأمر الأكثر إثارة عند التقسيم حسب الصعوبة: ففي المسائل easy وmedium لم يكن هناك أثر ذو دلالة تقريباً، أما في المسائل hard فبلغ الفرق بين الإطار «المؤنث» و«المذكر» -0,0314 بفاصل ثقة من -0,0600 إلى -0,0043. ولم يُلاحَظ تباين واضح بين المنصات، لكن ظهر في المسائل الأحدث اتجاه نحو فجوة أكبر، وإن كان أقل ثباتاً من التقسيم حسب الصعوبة.

وكانت الصورة مختلفة مع النموذج الرائد GPT-5.4. فبسبب تكلفة التشغيلات ومدتها، اختُبر على المسائل الصعبة فقط، ولم ينجح تكرار الأثر هناك. والتفسير المرجّح أن النموذج الأقوى يحل هذه المجموعة بصورة أفضل بكثير من نسخة mini، نحو 57 في المئة مقابل 33 في المئة، ولذلك لم يعد هذا الاختبار عند حدود قدراته. وبعبارة أخرى، قد تظهر الحساسية لصياغة الطلب تحديداً حين يعمل النموذج على حافة قدراته، لا في منطقة راحته. وهذا قيد مهم: فلا يمكن حتى الآن الجزم بأن الأمر خاصية شاملة لكل إصدارات ChatGPT أو لكل نماذج LLM عموماً.

الخلاصة العملية من هذه التجربة واقعية تماماً. ففي المسائل الصعبة، حيث تُحسب كل محاولة ويمكن للنموذج أن يتعثر في التفاصيل الصغيرة، يكون الأسلم صياغة الطلبات بشكل محايد وعدم إضافة إطار شخصي زائد. وهذا ليس دليلاً على «التمييز الجنسي» بالمعنى الدارج، بل إشارة إلى أن حتى أصغر العلامات اللغوية قد تؤثر على جودة الإجابة في سيناريوهات قابلة للقياس. والخطوة المنطقية التالية هي فحص نماذج أخرى ولغات أخرى ومجموعات بيانات أصعب، لمعرفة أين تنتهي خصوصية اختبار بعينه وأين تبدأ المشكلة المنهجية.