DecisionPivot يختبر 40 نموذج قرار: عند تساوي الدقة يصل الفارق إلى 26 نقطة مئوية

إذا حقق نموذج القرار في خط معالجة LLM لديك دقة عالية في اختبار عام، فهذا لا يعني بعدُ أنه يتخذ قرارات صحيحة. بنى مؤلفو DecisionPivot اختبارًا من 48 مهمة و40 033 عنصرًا ليُظهروا هذا الفارق. يختلف نموذجان بحجم 27B من المعاملات بمقدار 2,6 نقطة فقط في المسار المرجعي، لكنهما يحصلان على 70,1% و44,2% من حيث الدقة في المجموعات التباينية. ويبلغ الفارق 25,9 نقطة، ولا يظهر في المقياس المجمَّع المعتاد.

كيف صُمم الاختبار

يقيّم DecisionPivot النماذج المسؤولة عن توجيه الطلبات وضوابط الحماية (guardrails) والتحقق من المخرجات. وقد حُدّدت سبعة أدوار لاتخاذ القرار. يتألف الاختبار من جزأين.

يضم المسار الأساسي 7 800 عنصر من 13 عائلة مهام مولَّدة. جُمعت العناصر في مجموعات تباينية، أي صيغ متقاربة من المهمة نفسها يتغير فيها تفصيل أساسي واحد، وتتغير الإجابة الصحيحة معه. تُحسب الإجابات برمجيًا وتُراجع عبر برامج حل (solvers) مطبَّقة بصورة مستقلة. أما المسار المرجعي فيتألف من 32 233 عنصرًا من 35 مجموعة اختبار عامة، ويحتفظ بمقاييسها الأصلية.

• 48 مهمة و40 033 عنصرًا، وسبعة أدوار لاتخاذ القرار.
• 7 800 عنصر في المسار الأساسي، و13 عائلة مهام.
• 32 233 عنصرًا في المسار المرجعي، و35 مجموعة اختبار عامة.
• 40 نموذج قرار و14 نموذجًا عامًا.
• المقاييس: الدقة على مستوى العناصر وعلى مستوى المجموعات التباينية، وترتيب الاحتمالات، والمعايرة، والتغطية الانتقائية التجريبية.

أين تفشل التقييمات المجمَّعة

تتعلق النتيجة الرئيسية بالمجموعات التباينية. لا يُحتسب النجاح للنموذج في المجموعة إلا إذا أجاب بشكل صحيح عن جميع صيغها. لذلك يكشف هذا المقياس الحالات التي يستجيب فيها النموذج لسمات سطحية بدل التفصيل الذي يحدد الإجابة. ويُظهر زوج النموذجين بحجم 27B، اللذان تتقارب نتيجتاهما في المسار المرجعي، مدى أهمية ذلك.

تتعلق النتيجة الثانية بالاحتمالات. في 2 400 زوج تباينيّ ثنائي، يضع Perplexity Decider العنصر الموجب فوق العنصر السالب في 92,3% من الحالات. لكنه يجيب بشكل صحيح عن عنصرَي الزوج معًا في 74,1% فقط. أي أن النموذج يرتّب الخيارات جيدًا بحسب الثقة، لكن عتبة اتخاذ القرار لديه لا تعمل بدقة. وهذا أمر جوهري للأنظمة التي يحسمها حدّ عتبي، مثل تمرير الطلب أو حظره.

الملاحظة الثالثة أن النماذج المتقاربة في الدقة على مستوى العناصر تختلف في موثوقية التنبؤات عالية الثقة. وفي السيناريوهات الانتقائية، حيث يعالج النظام تلقائيًا الحالات عالية الثقة فقط ويحيل البقية إلى إنسان، يحدد ذلك النسبة الفعلية للأخطاء في التدفق الآلي.

واختبر المؤلفون على حدة أثر وضع الاستدلال. في مجموعة فرعية من 1 296 عنصرًا، يحقق GLM-5.3 دقة 93,5% في المجموعات التباينية عند مستوى استدلال مرتفع، و81,5% عند المستوى الأدنى. وقد نتج هذا الفارق البالغ 12 نقطة عن النموذج نفسه.

كيف تستفيد من النتائج عمليًا

على الفريق الذي يختار نموذجًا للتوجيه أو الإشراف على المحتوى أو التحقق أن يضيف اختبارات تباينية إلى التقييم القياسي. لذلك تُؤخذ مجموعة أزواج متقاربة يتغير فيها تفصيل حاسم واحد، وتُحسب نسبة الأزواج المحلولة بالكامل. ومن المفيد أيضًا قياس المعايرة ونسبة الأخطاء بين التنبؤات عالية الثقة، فهي التي تحدد عدد القرارات التي يمكن تسليمها إلى الأتمتة.

كما ينبغي تثبيت وضع الاستدلال عند المقارنة بين النماذج. تُظهر نتيجة GLM-5.3 أن نقطة التحقق (checkpoint) نفسها قد تسلك سلوكًا مختلفًا بحسب الإعداد، ما يعني أن المقارنة بالإعدادات الافتراضية لا تكشف إلا القليل عن السلوك في بيئة الإنتاج. ويشير المؤلفون إلى أنهم قيّموا النماذج وفق بروتوكولات موثَّقة خاصة بكل نموذج، ومن المنطقي اعتماد هذا النهج في الاختبارات الداخلية.