منصة Artificial Analysis تطلق مؤشر Decision Index: نموذج Jev 1.13 يتصدر بـ 58 نقطة

أطلقت منصة Artificial Analysis في 13 أكتوبر 2026 مؤشر Decision Index v1.0، وهو معيار تقييمي لنماذج اتخاذ القرار (decision-models). يُقصد بهذا المصطلح النماذج التي تختار إجابة من قائمة محددة وتوفر نسبة احتمالية لكل خيار عبر استدعاء واحد. حصد نموذج Jev 1.13 المركز الأول برصيد 58 نقطة، بينما حقق كل من GLiDE المطور من قبل Fastino Labs ونموذج Microsoft-Decision-1 رصيد 54 نقطة. ومن بين النماذج اللغوية الكبيرة، جاء Claude Haiku 5.5 (Low) في مرتبة أعلى بنتيجة 61 نقطة، لكنه أبطأ بمقدار 11 مرة وأعلى تكلفة بنحو 4,4 أضعاف.

ما الذي يقيسه المؤشر؟

تختلف نماذج اتخاذ القرار عن نماذج LLM وفق تصنيف Artificial Analysis في آلية العمل؛ فهي لا تولد نصوص استدلال مطولة، بل تحل مهاماً هيكلية مثل «إلى أي فريق يُوجَّه الطلب»، أو «هل الأمر عاجل»، أو «ما مدى انزعاج العميل». يرسل النموذج إجابته في مسار معالجة واحد ويحدد احتمالية لكل خيار، مما يجعل هذه الأنظمة أقل تكلفة وأسرع، ويتيح التحقق من دقة معايرتها مباشرة. أما بالنسبة لنماذج LLM في الاختبارات ذاتها، فتعتمد المنصة على إجابة هيكلية دون استخراج احتمالات لكل خيار.

يتألف المؤشر من أربعة تقييمات بوزن 25% لكل منها:

• AA-Omniscience-Decision: يتضمن 500 سؤال مغلق بخمسة خيارات (أربعة احتمالات للإجابة وخيار «لا أعلم»). يُخصص للدقة ونسبة عدم الهلوسة وزن 12,5% لكل منهما.
• HLE-MultiChoice: يضم 513 سؤالاً نصياً مع خيارات متعددة مأخوذة من اختبار Humanity's Last Exam.
• When2Call: اختبار من تطوير NVIDIA لتقييم استدعاء الأدوات (tool calling)، وفيه يقرر النموذج ما إذا كان سيجيب مباشرة، أو يستدعي أداة، أو يطلب توضيح التفاصيل، أو يقر بعدم قدرته على الإجابة.
• WildGuardTest: مجموعة بيانات من Ai2 لتصنيف معايير الأمان، تهدف لتحديد ما إذا كان الطلب ضاراً، وما إذا كانت الإجابة تمثل رفضاً، وما إذا كانت ضارة بحد ذاتها.

من في المقدمة وكم تبلغ التكلفة؟

يتفوق Jev 1.13 بفضل قدرات الاستدلال، حيث سجل 21 نقطة في HLE-MultiChoice، بينما حققت بقية نماذج اتخاذ القرار 15 نقطة فأقل. وفي AA-Omniscience-Decision بلغت دقة Jev نحو 35 نقطة، بينما ذهبت النتيجة الأفضل إلى نموذج d1 من Liquid AI بواقع 41 نقطة، غير أن d1 يعجز عملياً عن قول «لا أعلم»، حيث لم تتجاوز نسبة عدم الهلوسة لديه 2. وفي اختبار When2Call حقق Jev 81 نقطة محتلاً المركز الرابع، في حين سجل كل من Celeris-1 Decision وGLiDE ما مقداره 84 نقطة. أما في WildGuardTest فقد أحرز Jev 94 نقطة متعادلاً مع Perplexity Decider v1.1 27B، ومتقدماً بنقطة واحدة خلف GLiDE.

تتراوح تكلفة مليون مهمة لنماذج اتخاذ القرار بين $17 و$199، بمتوسط زمن استجابة يتراوح بين 0,06 و0,5 ثانية للمهمة. يُعد Decider v1.1 27B الأقل تكلفة ($17)، بينما يقع كل من Microsoft-Decision-1 ($31) وJev 1.13 ($42) على حدود باريتو (Pareto frontier) من حيث الموازنة بين الجودة والتكلفة. وفي المقابل، يكلف GLiDE $119 بالرغم من تسجيله نفس نقاط Microsoft (54 نقطة)، وهو ما يقرب من ثلاثة أضعاف تكلفة Jev. ويأتي Celeris-1 Decision كأسرع نموذج بزمن 0,06 ثانية للمهمة، بينما ينجزها Jev خلال 0,13 ثانية.

أما المقارنة مع النماذج اللغوية الكبيرة فتظهر تبايناً؛ إذ يحقق GPT-6 Luna (Low) نتيجة 55 نقطة بزمن 1,5 ثانية وتكلفة $131، ويسجل Claude Haiku 5.5 (Low) نحو 61 نقطة بزمن 1,4 ثانية وتكلفة $184. وتتفوق نماذج LLM بوضوح في أسئلة المعرفة، حيث بلغت دقة Haiku في AA-Omniscience-Decision نحو 52 نقطة، وLuna 66 نقطة، مقابل 28 إلى 41 نقطة لنماذج اتخاذ القرار. كما سجلا في HLE-MultiChoice نحو 24 و22 نقطة مقابل 21 نقطة لـ Jev. وعلى صعيد التصنيف واستدعاء الأدوات، تجاري أفضل نماذج اتخاذ القرار نظيراتها من LLM؛ حيث أحرز GLiDE 95 نقطة في WildGuardTest مقابل 93 لـ Haiku و89 لـ Luna، وحقق كل من GLiDE وCeleris نحو 84 نقطة في When2Call مقابل 77 لـ Luna و73 لـ Haiku.

ثقة دون أساس متين

يتمثل المأخذ الأساسي لفريق المؤشر على نماذج اتخاذ القرار في مسألة المعايرة (calibration). ففي جميع مستويات الاحتمالية تقريباً، تقل الدقة الفعلية عن الدقة المعلنة لدى كافة النماذج التي خضعت للفحص، وتتفاقم هذه المشكلة تحديداً في مهام المعرفة والاستدلال (AA-Omniscience-Decision وHLE-MultiChoice)، بينما تبدو المعايرة مقبولة إجمالاً في When2Call وWildGuardTest. ولم يُعرض تقييم معايرة نماذج LLM في المؤشر بعد، مع وعود بإدراجه لاحقاً.

وخضعت قدرة النماذج على رفض الإجابة لتقييم منفصل؛ وسجل Microsoft-Decision-1 أعلى نسبة لعدم الهلوسة (40%)، متبوعاً بـ Jev 1.13 (35%) وMercury Decide (32%)، في حين عجز أي نموذج قرار آخر عن تجاوز 17%.

مجالات الاستخدام العملي

في مهام مثل توجيه التذاكر، والإشراف على المحتوى، واختيار الأدوات ضمن سلاسل الوكلاء الأذكياء (agentic workflows)، يوفر نموذج اتخاذ القرار الواقع على حدود باريتو — مثل Jev 1.13 أو Microsoft-Decision-1 — كفاءة تضاهي نماذج LLM ولكن بتكلفة وزمن تأخير يقلان بأضعاف مضاعفة. أما بخصوص الأسئلة المعتمدة على الحقائق والاستدلال المعقد، فلا يمكن التعامل مع احتمالات هذه النماذج كمؤشر دقيق لتقييم المخاطر، مما يوجب ضبط عتبة الثقة (confidence threshold) استناداً إلى بيانات خاصة. وإذا كانت كلفة الخطأ مرتفعة، فمن الأفضل تضمين خيار «لا أعلم» بشكل صريح وإحالة مثل هذه الحالات إلى نماذج LLM أو إلى العنصر البشري. ويمكن لمطوري النماذج تقديم طلبات لإدراج أنظمتهم في المؤشر عبر البريد الإلكتروني [email protected].