Artificial Analysis تكشف تراجعًا في الجودة لدى 24 من أصل 103 نقاط نهاية API

اسم النموذج في إعدادات الـ API لا يضمن الجودة المتوقعة. فقد يختار الوكيل الأداة الصحيحة، لكن المزوّد يمرّر وسائطها بصيغة خاطئة. أو قد ينفق النموذج كامل الإجابة المتاحة على الاستدلال ولا يصل إلى النتيجة. وبالنسبة للمستخدم تبدو الحالتان متطابقتين: المنتج لم ينجز المهمة.

حدّثت Artificial Analysis مؤشر Endpoint Accuracy Index إلى الإصدار 1.1. ومن بين 103 نقاط نهاية خادمية خضعت للفحص، تخلّفت 24 منها إحصائيًا عن النشر المرجعي للنموذج المعني، أي نحو 23% من العينة. والخلاصة العملية للفريق: عند اختيار الـ API ينبغي فحص المزوّد المحدد، حتى لو اجتاز النموذج نفسه اختباراتكم.

أين تضيع الجودة

من الحالات اللافتة GLM-5.3 Flash. فعند نقطتي نهاية يُقيَّد الحد الأقصى للإجابة بنحو 32 ألف رمز. وقرابة نصف الإجابات على الأسئلة الصعبة في HLE-250 اصطدمت بهذا السقف قبل الوصول إلى النتيجة. وبلغت نسبة الإجابات الصحيحة 22.3% و28.5%، بينما حقق النشر المرجعي 55.4%.

وهناك قيود أقل وضوحًا. فنقطتا نهاية أخريان للنموذج نفسه أنتجتا رموز استدلال أقل بنحو 30% دون انقطاع ظاهر في الإجابة. ونتيجتاهما في HLE-250 هي 48.4% و48.6%. ولا يمكن من هذه الملاحظة وحدها تحديد السبب الداخلي، لكن الفرق جوهري للمطوّر: فالإعدادات المطلوبة نفسها لم تضمن السلوك نفسه.

وأحيانًا تكون المشكلة مع الأدوات بسيطة جدًا. تخيّل خدمة حجز يجب أن يصل فيها معرّف الطلب كسلسلة نصية. نقطتا نهاية لـ Muse Spark Open أعادتا هذه الوسائط كأرقام. وفي سيناريو متعدد الخطوات يكفي ذلك ليخالف الاستدعاء عقد الأداة. وفي اختبار BFCL-500 حصلتا على 49.9% و50.7% مقابل 59.1% للمرجع.

وشملت الأعطال الأخرى المرصودة أسماء معاملات تالفة، وكائنات على هيئة سلاسل JSON، وإعادة استخدام معرّفات استدعاءات الأدوات. وفي إحدى نقاط نهاية Kimi K3 كانت الطلبات تنقطع بعد نحو عشر دقائق: إذ انتهى نحو 9% من مهام HLE-250 دون أي إجابة من النموذج.

ماذا يقيس المؤشر

تخضع كل نقطة نهاية لثلاثة اختبارات: استدعاء الأدوات، والأسئلة العلمية المعقدة، والبحث عن المعلومات في سياق طويل يبلغ نحو 100 ألف رمز إدخال. وتُقسَّم نتيجة كل اختبار على نتيجة التشغيل المرجعي، وتُعبَّر بالنسبة المئوية، ثم يُحسب المتوسط بأوزان متساوية.

لذلك فإن قيمة المؤشر 100% تعني مستوى المرجع، لا دقة إجابات بنسبة مئة بالمئة. كما أن قيمة تتجاوز 100% لا تثبت تفوّق المزوّد: يجب النظر إلى مجال عدم اليقين. ويعدّ المؤلفون نقطة النهاية متخلفة حين يقع مجال الثقة الكامل لها بنسبة 95% تحت 100%.

وفي الإصدار 1.1 زيد عدد التكرارات في اختبار السياق الطويل من 10 إلى 25، وصُحّحت مفاتيح الإجابات لسؤالين، وحُدّث نموذج التحقق من التطابق. وعلى العينة الكلية انخفض متوسط هامش الخطأ في هذا الاختبار من ±4.7 إلى ±2.6 نقطة مئوية. ولا يمكن مقارنة نتائج الإصدارات المختلفة مباشرة.

ومن الخطأ تفسير كل الخسائر بالتكميم. فنقاط نهاية GLM-5.3 Flash الثلاث بأوزان FP4 جاءت إحصائيًا على مستوى المرجع FP8. أما في DeepSeek V4.1 Flash 1017 فقد طابقت جميع نقاط النهاية الـ22 المفحوصة المرجع ضمن حدود عدم اليقين.

ما الذي يجب فحصه قبل ربط الـ API

يفيد المؤشر الفريق كمرشّح قبل اختباراته الخاصة. تحقّقوا من الحد الأقصى لطول الإجابة، ومهلة الطلب، وصحة إنهاء التدفق، والأنواع الفعلية لوسائط الأدوات. ثم شغّلوا عدة مهام نموذجية للمنتج كاملةً: من طلب المستخدم إلى آخر إجراء للوكيل. فاختبار إجابة منفردة لن يكشف ما قد ينكسر عند الاستدعاء الثالث للأداة.

وللدراسة قيود جوهرية. فالاختبارات الثلاثة لا تصف جميع أحمال العمل، وغياب تخلّف ذي دلالة إحصائية لا يضمن المساواة التامة. وأُجريت القياسات من 8 أكتوبر إلى 4 نوفمبر 2026؛ وقد تكون إعدادات المزوّدين تغيّرت بعد ذلك. يبقى السعر وزمن الاستجابة معيارين مهمين، لكن جودة نقطة نهاية بعينها صار بالإمكان فحصها على حدة، وإدراج هذا الفحص ضمن إجراءات تغيير المزوّد.