Artificial Analysis: واجهة API واحدة من كل أربع لنماذج اللغة الكبيرة تتخلف عن المرجع في الدقة

اخترتَ نموذجًا مفتوحًا، ووجدتَ المزوّد الأقل سعرًا لكل مليون توكن، وأطلقتَه في الإنتاج. وبعد أسبوع يشكو المستخدمون من أن الإجابات أسوأ مما كانت في العرض التجريبي. قد لا يكون النموذج نفسه هو السبب، بل الطريقة التي شغّله بها المزوّد.

هذه بالضبط هي المشكلة التي تقيسها Artificial Analysis. فقد أصدر الفريق مؤشر Endpoint Accuracy Index v1.1. هو تحديث صغير للإصدار، لكن بتغطية موسّعة: أُضيف إلى المؤشر GLM-5.3 Flash وMuse Spark Open.

ماذا أظهر المؤشر

الرقم الرئيسي في الإعلان: من بين أكثر من 100 نقطة وصول serverless جرى اختبارها، تحصل نقطة واحدة تقريبًا من كل أربع على نتيجة أقل من المرجع. والمقصود بالمرجع هو النتيجة المعيارية للنموذج التي تُقارن بها تطبيقات المزوّدين المختلفين.

تنبيه مهم: المنشور على X مقطوع في منتصف الجملة التي تشرح كيف يضحّي المزوّدون بالدقة بالضبط. ينبغي الاطلاع على المنهجية الكاملة وقائمة نقاط الوصول المتأخرة وحجم الفجوة على موقع Artificial Analysis. نحن هنا نعتمد فقط على ما نُشر في الإعلان نفسه.

من أين يأتي الفرق

يتضح من الإعلان أن المزوّدين يقدّمون تنازلات في الدقة. أما كيف يحدث ذلك فلا يرد في الجزء المتاح من النص. وفي الصناعة تُذكر عادةً عدة أسباب شائعة. فقد يُجرى تكميم (quantization) للنموذج إلى دقة رقمية أقل ليعمل أسرع ويكلّف أقل. وقد تُغيَّر إعدادات الاستدلال أو يُسرَّع التوليد بأساليب تؤثر قليلًا في الجودة. وناذرًا ما يعرض المزوّد ذلك كله في صفحة الأسعار الأولى.

تخيّل متجرين يبيعان السلعة نفسها. سعر أحدهما أقل لأنه وفّر في جودة التغليف. من الخارج تتطابق بطاقة السعر والاسم، ولا يظهر الفرق إلا عند الاستخدام. والأمر نفسه مع واجهات API للنماذج: اسم النموذج واحد، وقد يختلف التنفيذ في الداخل.

ماذا نفعل عمليًا

أولًا: لا تعتبروا اسم النموذج ضمانًا للجودة. فعبارة «GLM-5.3 Flash» لدى مزوّدين اثنين لا تعني سلوكًا متطابقًا.

ثانيًا: أضيفوا الدقة إلى جدول الاختيار بجانب السعر وزمن الاستجابة والإنتاجية. فإذا قارنتم السعر والسرعة فقط، فأنتم تختارون بشكل منهجي من وفّر أكثر من غيره على حساب الجودة.

ثالثًا: يجب أن تمتلكوا مجموعة فحوص خاصة بكم على مهام حقيقية. المؤشر العام يعطي صورة شاملة، لكن حالتكم قد تكون أكثر حساسية للتراجع. ففي توليد الشيفرة، أو استخراج البيانات بصيغة صارمة، أو سلاسل الاستدلال الطويلة، يكون فقدان بسيط في الدقة أوضح غالبًا منه في محادثة بسيطة. شغّلوا eval الخاص بكم على المرشحين قبل تحويل الحركة.

رابعًا: أعيدوا الفحص بعد تغيير المزوّد أو تحديث نقطة الوصول. فقد يتغير التنفيذ دون أن تعلموا، ما لم تراجعوا المقاييس.

القيود

هناك عدة أمور ينبغي إبقاؤها في الذهن. أولًا، «أقل من المرجع» لا يعني «سيئ». فقد تكون الفجوة صغيرة ومقبولة لمهمتكم إذا كان السعر والسرعة أهم. ثانيًا، يقيس المؤشر مجموعة محددة من الاختبارات، وقد يتصرف سيناريو عملكم بشكل مختلف. ثالثًا، هذا هو الإصدار 1.1، أي أن المنهجية ما زالت تتطور وتغطية النماذج تتوسع تدريجيًا.

ومع ذلك، فإن مجرد تراجع الدقة في هذا العدد من نقاط الوصول إشارة قوية للفرق التي تبني منتجاتها على واجهات API خارجية. لقد صار سوق الاستدلال يشبه سوق الاستضافة: عروض متشابهة في الظاهر تختلف في التفاصيل. وظهور مؤشر مستقل يقيس هذه التفاصيل يجعل اختيار المزوّد أقل عشوائية بعض الشيء.

الخلاصة بسيطة: تحققوا ليس مما وُعدتم به من نموذج فحسب، بل مما يصلكم فعليًا في الإجابة.