مؤشر Harvey LAB-AA v1.1: نموذج Grok 4.7 يتصدر بنسبة 9.4% بعد إخضاعه لتدقيق الهلوسة

حدّثت Artificial Analysis بالتعاون مع شركة الذكاء الاصطناعي القانوني Harvey مؤشر Harvey LAB-AA إلى الإصدار 1.1، مغيّرةً القاعدة الرئيسية للتقييم: لا تُحتسب المهمة ناجحة إلا إذا استوفت جميع معايير نموذج التقييم (Rubric) وكانت وثائقها خالية تماماً من الهلوسات الجوهرية. وفي اختبار شمل 120 مهمة قانونية غير معلنة، تصدر Grok 4.7 (xhigh) بنسبة نجاح بلغت 9.4%، وهو رقم يقل كثيراً عما كانت تسجله النماذج قبل تطبيق مرشح الهلوسة. وتبيّن أن أكثر من 60% من النتائج الناجحة ظاهرياً لدى النماذج المختبرة تحتوي على وقائع مختلقة جوهرية، بل وهوت نتائج بعض النماذج إلى الصفر بعد التدقيق.

آلية عمل الفحص

أعد فريق Harvey المهام المشمولة في الاختبار، وهي تغطي مجالات الاندماج والاستحواذ، وأسواق المال، والضرائب، والنزاعات القضائية، والإفلاس. يعمل النموذج بصفته وكيلاً مستقلاً ويسلّم وثائق مكتملة، ثم تُفحص كل وثيقة للتأكد من مطابقتها لمواد القضية الأصلية عبر مرحلتين: يضع نموذج التحكيم أولاً علامات على الفقرات المشبوهة استناداً إلى ثلاث فئات: التناقض مع المصادر، واختلاق محتوى منسوب للمصدر، وتقديم ادعاء محدد لا يدعمه أي إثبات في المواد. بعد ذلك، يعيد المُحكِّم نفسه فحص كل علامة عبر جميع وثائق المهمة، فيستبعد العلامات غير المبررة، ويصنف المتبقي منها إلى هلوسات جوهرية أو طفيفة.

توضح المنهجية مثالاً على الخطأ الجوهري: سجّل أحد النماذج في مهمة ضريبية ديناً على أنه «قرض بقيمة 220 مليون دولار مضافاً إليه سندات بقيمة 214 مليون دولار»، في حين كان الرقمان يمثلان في الواقع الرصيد الافتتاحي والختامي للقرض ذاته بعد سداد 6 ملايين دولار. في المقابل، صُنّف الخطأ الحسابي في التوزيع النسبي على أنه غير جوهري ولم يؤثر في التقييم. ولا يُعد الاستناد إلى المبادئ القانونية العامة والسوابق القضائية غير الواردة في ملفات القضية هلوسة؛ لذا لم تُفرض أي غرامات على النماذج لاستعانتها بالقوانين والسوابق.

باتت معايير نموذج التقييم تخضع للتحكيم عبر لجنة مؤلفة من ثلاثة نماذج لغوية كبرى: GPT-6 Sol وGrok 4.7 وClaude Opus 5.5، وتؤخذ أحكامها بالمتوسط، مقارنة بوجود مُحكِّم واحد في الإصدار 1.0. واختبر القائمون على المؤشر مدى انحياز اللجنة إلى عائلات نماذجها ووجدوا أن الانحياز في حده الأدنى. أما تدقيق الهلوسة بحد ذاته، فيتولاه نموذج GPT-6 Sol (high).

ترتيب النماذج وتراجع الأداء

تصدرت النماذج التالية مقياس Hallucination-Gated All-Pass Rate:

• Grok 4.7 (xhigh): 9.4%
• Muse Spark 1.3 (max): 8.9%
• GPT-6 Astra (max): 8.6%
• GPT-6.1 Sol (max): 6.9%
• Claude Fable 5.1 (max, مع fallback): 6.4%
• Kimi K3 (max): 5.3%
• Claude Opus 5.5 (max, مع fallback): 4.2%

شُغلت نماذج Claude مع تفعيل ميزة fallback التلقائية من Anthropic، إلا أنها لم تضطر إلى استخدامها على الإطلاق.

كان نموذج Muse Spark 1.3 الأكثر تأثراً بمرشح الهلوسة؛ فبدونه كان يتصدر الترتيب بفارق مريح عند نسبة 26.7% من المهام المكتملة كلياً، غير أن ثلثي هذا النجاح كان مشوباً بهلوسات جوهرية.

ويحقق النموذج ذاته رقماً قياسياً باستيفاء 96.0% من المعايير، لكنه يقع في فخ الهلوسة الجوهرية بمعدل 1.68 مرة لكل مهمة.

من جهته، حافظ GPT-6 Astra على معظم نجاحاته تقريباً (8.9% قبل التصفية و8.6% بعدها) وقفز من المركز العاشر مكرر إلى المركز الثالث، مسجلاً معدلاً متدنياً لا يتجاوز 0.

03 هلوسة جوهرية لكل مهمة (أي 4 حالات فقط في مجمل المهام البالغة 120 مهمة). وسجل GPT-6 Sol معدل 0.07 (8 حالات).

أما الرقم الأسوأ فكان من نصيب Gemini 3.8 Flash بمعدل 13.96 لكل مهمة.

وارتكب كل نموذج مفتوح الأوزان (open-weights) ما لا يقل عن 2.09 هلوسة جوهرية في المهمة الواحدة.

تستوفي معظم النماذج معايير التقييم بنجاح؛ إذ حقق 16 نموذجاً نسب إنجاز تراوحت بين 85.6% و96.0%. ويثبت ذلك أن القدرة على استيفاء بنود القائمة تختلف تماماً عن مهارة تجنب الاختلاق. وتفيد بيانات الباحثين بأن قابلية النموذج للهلوسة ترتبط بطبيعة النموذج نفسه بدرجة أكبر بكثير من ارتباطها بنوع الممارسة القانونية.

محاذير وخلاصات عملية

لا يمكن مقارنة نتائج الإصدار v1.1 بالأرقام المنشورة سابقاً للإصدار v1.0؛ فقد طرأت تغييرات على المقياس ولجنة التحكيم وقاعدة البيانات (التي أصبحت الآن Harvey v1.1.0). وفضلاً عن ذلك، يُعد هذا التطبيق تنفيذاً مستقلاً وليس الاختبار الأصلي لشركة Harvey؛ حيث تُشغّل النماذج ضمن بيئة وكلاء برمجية مبنية على Stirrup مع ضغط السياق، دون استخدام أدوات Harvey المخصصة أو سكربتات توليد ملفات pptx وdocx، بل بالاعتماد فقط على تنفيذ الأكواد البسيطة. ويُشترط تطابق اسم الملف الناتج تماماً دون أي تقريب.

تستحق مسألة صرامة المُحكِّم وقفة خاصة؛ ففي اختبار شمل 20 مهمة على 8 نماذج، رصد GPT-6 Sol نحو 470 هلوسة جوهرية، بينما رصد Grok 4.7 نحو 219، وOpus 5.5 نحو 99، وSonnet 5.5 نحو 57. ولم ترصد أي من النماذج الستة المرشحة للتحكيم أخطاءً جوهرية لدى GPT-6 Astra، في حين تراوحت تقديراتها لأخطاء GPT-6 Sol بين 0 و0.20 لكل مهمة. ورغم استقرار الترتيب النسبي للنماذج، فإن الأرقام المطلقة تظل رهينة صرامة المُحكِّم. كما ينبغي ألا يغيب عن البال، عند قراءة الجدول، أن المُحكِّم المنتمي إلى عائلة GPT-6 يُقيّم نماذج من عائلة GPT-6 أيضاً.

أما بالنسبة للفرق القانونية، فالخلاصة بسيطة وعملية: نسبة المعايير المستوفاة لا تكفي وحدها للحكم على موثوقية الوكيل. فإنجاز «16 من أصل 20 بنداً» لا يمثل مشكلة بحد ذاته ما دامت الوثيقة لا تحتوي على تواريخ أو مبالغ مختلقة. وعند اختيار نموذج للمهام التعاقدية والضريبية، يجب النظر أولاً إلى معدل الهلوسات الجوهرية لكل مهمة مع الإبقاء على مطابقة الوثائق مع المواد الأصلية خطوةً إلزامية. ويَعِد القائمون على الاختبار بأخذ اعتبارات إضافية تهم المحامين إلى جانب الدقة في الحسبان في الإصدارات المقبلة، مثل أسلوب صياغة الوثائق ونبرتها.