قاضيان من الذكاء الاصطناعي في اختبار قانوني لـ15 نموذجًا لغويًا يتحيزان لنماذج شركتيهما: انحياز بمقدار 0,04 نقطة من أصل 1
غالبًا ما تضع نماذج لغوية أخرى التقييمات في تصنيفات النماذج اللغوية، وقد تكون متحيزة. أجرى مؤلف خدمة «неШемяка!» اختبارًا لـ15 نموذجًا على 30 قضية مغلقة من المحكمة العليا الروسية، وتولى التقييم Claude Opus 5.5 وGrok 4.7 بمقياس من 0 إلى 1. يتفق القاضيان في تقييماتهما (معامل الارتباط 0,95)، لكنهما يختاران في الغالب إجابة الشركة المصنِّعة لكل منهما بوصفها الأفضل: اختار Opus إجابة نموذجه 4 مرات، أما Grok فلم يختر إجابة نموذجه ولا مرة. لذلك ينبغي استكمال القاضي المشارك في المقارنة بقاضٍ من شركة مصنِّعة أخرى.
معالج بواسطة الذكاء الاصطناعي من Habr AI؛ بتحرير Hamidun News
تخيّل مسابقة للطهاة يجلس في لجنة التحكيم فيها أحد المشاركين. صحيح أن الأطباق تُتذوق دون معرفة صاحبها، لكن بصمة الطاهي المألوف يسهل تمييزها. وهذا تقريبًا ما يحدث في تصنيفات النماذج اللغوية، حيث يقيّم نموذج لغوي إجابات نماذج أخرى، فيما يُعرف بأسلوب LLM-as-a-Judge.
كرّر مؤلف الخدمة القانونية «неШемяка!»، التي تتنبأ بنتائج النزاعات القضائية استنادًا إلى مواد القضية، في نوفمبر 2026 قياس Lexometrica Ground Truth: 15 نموذجًا و30 قضية مغلقة من ممارسات المحكمة العليا الروسية وقاضيان من الذكاء الاصطناعي هما Claude Opus 5.5 وGrok 4.
7. وفي هذه المرة لم يختبر المؤلف النماذج وحدها، بل القاضيين أنفسهما. والنتيجة: القاضيان متفقان في الجملة (معامل الارتباط 0,95)، لكن كلًّا منهما يعدّ في الغالب إجابة نموذج شركته الأفضل، وبلغ الانحياز لصالح نماذج Anthropic +0,040 نقطة على مقياس من 0 إلى 1.
كيف صُمم الاختبار
تتضمن كل قضية من القضايا الثلاثين وصفًا للوضع وسؤالًا ومعيار تقييم وضعه خبراء وإجابة مرجعية. ويختبر نحو نصف المجموعة (13 قضية) أصعب مهارة، وهي تطبيق القاعدة القانونية على وقائع محددة. وتخصص 6 قضايا أخرى لتحديد المسائل القانونية، و6 للاستنتاج، و4 لاستحضار القاعدة، وقضية واحدة للتفسير. والمجموعة مغلقة حتى لا تدخل القضايا في بيانات تدريب النماذج.
تلقى كل قاضٍ في كل قضية الإجابات الخمس عشرة كلها دفعة واحدة تحت رموز حرفية بترتيب عشوائي، وحُذفت أسماء النماذج من النصوص. والدرجة النهائية للإجابة هي متوسط تقييمي القاضيين، ودرجة النموذج هي المتوسط على القضايا الثلاثين. ولم تتح للنماذج إمكانية البحث أو الاطلاع على الأنظمة المرجعية، لذلك لا يمكن نقل النتائج مباشرة إلى المنتجات القائمة على RAG.
أداء النماذج
يتفوق Claude Fable 5.2 وGemini 4 Carbon بثقة على جميع النماذج ابتداءً من المركز الرابع، لكن لا يمكن التمييز بينهما، إذ يتفوق Fable بنسبة 72% فقط من تكرارات البوتستراب. ومع ذلك فإن Fable هو النموذج الوحيد الذي لا توجد له إجابات ضعيفة: أسوأ إجابة من أصل 30 حصلت على 0,64، في حين أن الحد الأدنى للنماذج الثلاثة التالية نحو 0,4. ويفصل بين Claude Opus 5.5 وGPT-6.2 Astra 0,02 نقطة فقط. وعلى ثلاثين قضية لا يمكن التمييز بثقة إلا بين خمسة أو ستة مستويات من الجودة، أما داخل المجموعة الواحدة فترتيب النماذج عشوائي.
ولا يتنبأ حجم الاستدلال بالجودة: يستدل Kimi K3.1 Pro أكثر من Astra بعشرين ضعفًا وزيادة، ويحصل على 0,582 مقابل 0,795. وتبلغ تكلفة DeepSeek V4.1 Flash أقل من تكلفة النموذج الأول بنحو رتبتين عشريتين، مع فارق 0,17 نقطة، وحيث يراجع المحامي الإجابة على أي حال يصعب تبرير النموذج الغالي. أما GLM-5.3 FlashX Legal المدرَّب قانونيًا فحصل على 0,494 مقابل 0,473 لنموذج GLM-5.3 العادي، والفرق غير ذي دلالة (P = 0,76): فالأسلوب القانوني لم يضف معرفة بنصوص القانون الروسي. أما YandexGPT فرد في قضيتين بعبارة «لا يمكنني مناقشة هذا الموضوع» على أسئلة قانونية اعتيادية، فنال صفرًا.
وأضعف ما لدى النماذج القوية هو تطبيق القاعدة على الوقائع (0,74–0,85 مقابل 0,84–0,91 لاستحضار القاعدة). ولا يسدّ نمط الاستدلال هذه الفجوة المعرفية: فالنموذج يستخلص الحكم من قاعدة استُحضرت خطأً بالتماسك نفسه الذي يستخلصه من قاعدة صحيحة.
إلى أي حد يمكن الوثوق بالقاضي
للتحقق، قارن المؤلف تقييمات القاضيين على 450 إجابة. بلغ معامل الارتباط على مستوى الإجابات 0,953، ومتوسط التباين 0,065، ولدى 80% من الإجابات لا يتجاوز التباين 0,10، ولدى 99% منها لا يتجاوز 0,20. وأعطى إعادة التقييم بواسطة Opus نفسه تباينًا قدره 0,041، أما الزوج Opus وGrok فـ0,066، أي إن القاضي من شركة مصنِّعة أخرى يضيف إلى الضجيج الذاتي قدرًا ضئيلًا.
لكن المعامل العام مضلِّل. فداخل القضية الواحدة يبلغ معامل ارتباط الرتب للنماذج الستة العليا 0,57 فقط، وللنماذج التسعة الدنيا 0,92. والتباين في المجموعتين متماثل (0,06–0,07)، لكن تقييمات الإجابات القوية تقع في نطاق ضيق، وهذا التشتت كافٍ لتبديل مواضعها. فالقاضي يميز بموثوقية بين الإجابة الجيدة والسيئة، لكنه يرتب إجابتين جيدتين ترتيبًا ضعيفًا.
ويظهر التحيز لصالح «النماذج الخاصة» بأشكال مختلفة. فالفرق بين متوسطي تقييمي Opus وGrok موجب لدى نموذجين فقط من الخمسة عشر، وكلاهما من Anthropic: Opus 5.5 (+0,014) وFable 5.2 (+0,012). أما الانحياز النسبي لنماذج Anthropic فهو +0,040 بفاصل ثقة 95% من +0,020 إلى +0,060، واحتمال أن ينال مصنِّع واحد المركزين الأولين مصادفةً هو 1/105. وقد اختار القاضي Opus إجابة Opus الأفضل 4 مرات، بينما لم يختر القاضي Grok إجابة نموذجه ولا مرة، فيما اختار Grok إجابته 5,7 مرات مقابل 1,8 لدى Opus.
وينعكس ذلك مباشرة على الجدول. فبحسب تقييمات Opus وحده يتقدم نموذجه على GPT-6.2 Astra بـ0,053 (P = 1,00)، وبحسب تقييمات Grok وحده ينعكس الترتيب (0,809 مقابل 0,819)، وفي متوسط القاضيين يبلغ الفرق 0,021 (P = 0,90). ولا يمكن تحديد مصدر هذا الانحراف من القاضيين وحدهما: فقد يكون Opus رفع تقييمات نماذجه، وقد يكون Grok خفض تقييمات النماذج الأخرى. أما انحياز Grok لنفسه في متوسط التقييمات فلم يثبت: إذ يمنح زيادة مماثلة لـGPT-6.2 Astra وYandexGPT وGigaChat، وهي نماذج لا تخصه.
ماذا نفعل عمليًا
إذا كنتم تبنون تقييم الجودة على LLM-as-a-Judge، فلا تجعلوا القاضي نموذجًا يشارك في المقارنة، أو على الأقل قارنوا تقييماته بقاضٍ من شركة مصنِّعة أخرى. وانشروا الموثوقية بصورة منفصلة للمجموعة العليا، لا المعامل العام وحده. وأظهروا الحد الأدنى وعدد الإخفاقات إلى جانب المتوسط: ففي العمل القانوني كلفة الخطأ غير متماثلة، والنموذج ذو المتوسط الجيد الذي يخفق في قضايا بعينها أخطر من النموذج المتزن.
وثمة تحفظ أيضًا: 30 قضية عينة صغيرة، والقاضيان نفسهما مشاركان في التصنيف، ويصف المؤلف بعض الاستنتاجات بأنها مؤشر استرشادي لا حقيقة مثبتة. ويَعِد بإصدار الحسابات الكاملة في ورقة تمهيدية (preprint).
- 22 نوفمبر 2026تقدير تحليلي: غاز بنسبة 87% وفحم بنسبة 11% سيغذيان Anthropic بالطاقة في 2028
- 22 نوفمبر 2026نموذج OpenAI الجديد Astra يكتب ردودًا أقصر بنسبة 40%، لكن تصنيفه في التحفظات تراجع من 96 إلى 24
- 22 نوفمبر 2026Tencent تفتح أوزان Hy4: من أصل 770 مليار معامل يعمل 49 مليارًا لكل توكن
- 22 نوفمبر 2026Imagecaster يعلّم الشبكة العصبية ملامح وجهك من 10 إلى 100 صورة ويجرّب الملابس في المنزل
أسئلة وأجوبة حول الخبر
ما أبرز التفاصيل حول كيف صُمم الاختبار؟
تتضمن كل قضية من القضايا الثلاثين وصفًا للوضع وسؤالًا ومعيار تقييم وضعه خبراء وإجابة مرجعية. ويختبر نحو نصف المجموعة (13 قضية) أصعب مهارة، وهي تطبيق القاعدة القانونية على وقائع محددة. وتخصص 6 قضايا أخرى لتحديد المسائل القانونية، و6 للاستنتاج، و4 لاستحضار القاعدة، وقضية واحدة للتفسير. والمجموعة مغلقة حتى لا تدخل القضايا في بيانات تدريب النماذج. تلقى كل قاضٍ في كل قضية الإجابات الخمس عشرة كلها دفعة واحدة تحت رموز حرفية بترتيب عشوائي، وحُذفت أسماء النماذج من النصوص.
ما أبرز التفاصيل حول أداء النماذج؟
يتفوق Claude Fable 5.2 وGemini 4 Carbon بثقة على جميع النماذج ابتداءً من المركز الرابع، لكن لا يمكن التمييز بينهما، إذ يتفوق Fable بنسبة 72% فقط من تكرارات البوتستراب. ومع ذلك فإن Fable هو النموذج الوحيد الذي لا توجد له إجابات ضعيفة: أسوأ إجابة من أصل 30 حصلت على 0,64، في حين أن الحد الأدنى للنماذج الثلاثة التالية نحو 0,4. ويفصل بين Claude Opus 5.5 وGPT-6.2 Astra 0,02 نقطة فقط. وعلى ثلاثين قضية لا يمكن التمييز بثقة إلا بين خمسة أو ستة مستويات من الجودة، أما داخل المجموعة الواحدة فترتيب النماذج عشوائي.
ما أبرز التفاصيل حول إلى أي حد يمكن الوثوق بالقاضي؟
للتحقق، قارن المؤلف تقييمات القاضيين على 450 إجابة. بلغ معامل الارتباط على مستوى الإجابات 0,953، ومتوسط التباين 0,065، ولدى 80% من الإجابات لا يتجاوز التباين 0,10، ولدى 99% منها لا يتجاوز 0,20. وأعطى إعادة التقييم بواسطة Opus نفسه تباينًا قدره 0,041، أما الزوج Opus وGrok فـ0,066، أي إن القاضي من شركة مصنِّعة أخرى يضيف إلى الضجيج الذاتي قدرًا ضئيلًا. لكن المعامل العام مضلِّل. فداخل القضية الواحدة يبلغ معامل ارتباط الرتب للنماذج الستة العليا 0,57 فقط، وللنماذج التسعة الدنيا 0,92.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
أهم ما في عالم الذكاء الاصطناعي — مرة كل أسبوع
سبع قصص مهمة فعلاً هذا الأسبوع، مختارة بعناية. بلا ضجيج ولا بيانات صحفية.
تم! تحقق من بريدك للتأكيد.